Auf Youtube enthüllte das Start-up Lynx ein Mixed-Reality-Gerät mit kompaktem Formfaktor.

Haben Open AIs GPT-3 gelernt?

Die KI der OpenAI-Sprache kann zählen – zumindest ein wenig. Warum ist das überraschend und was bedeutet es?

Die ersten Entwickler haben seit Juni 2020 Zugriff darauf OpenAIs GPT-3 und demonstrieren Sie die beeindruckenden Fähigkeiten der Text-KI in verschiedenen Anwendungen: Sie kann Sprachbefehle verarbeiten funktionierender Webcode Transformation, Entwicklerlegende Imitieren Sie John Carmack oder als Suchmaschine werden verwendet.

Dies ist nur ein Bruchteil der verschiedenen KI-Experimente, die deutlich machen: GPT-3 überrascht mit unerwarteten Möglichkeiten.

Hattest du Arbeit zu erledigen … und zwei zu erledigen?

Die Möglichkeiten von GPT-3 sind unerwartet, da die Text-KI im Kern sehr einfach ist: Sie sagt das nächste wahrscheinliche Wort basierend auf einer vorhandenen Wortfolge voraus. Sie vervollständigt so Sätze, Gedichte oder ganze Aufsätze.

Während des Trainings wurden in GPT-3 insgesamt 470 Gigabyte Webtext angezeigt – einschließlich Codebeispielen oder arithmetischen Tabellen. Wie benutzt sie diese Symbole?

Die Experimente zeigen: Das Prinzip der Wortvorhersage wird nahtlos von Buchstaben auf Zahlen und Sonderzeichen übertragen. Es kommt also vor, dass GPT-3 Mathe kann – obwohl die KI nie explizit dafür trainiert wurde.

GPT-3 berechnet tatsächlich

Diese Möglichkeit bestand bereits im Mai, als OpenAI den neuen Text AI erstmals vorstellte. Im Rahmen der wissenschaftlichen Arbeit untersuchen die OpenAI-Forscher die mathematischen Fähigkeiten der KI.

Die Forscher ließen die große Variante von GPT-3 mit 175 Milliarden Parametern hinter kleineren Varianten in der Addition, Subtraktion und Multiplikation Beginnen Sie mit zwei- bis fünfstelligen Zahlen.

Das größte Modell zeigt einen deutlichen Leistungssprung in Bezug auf die Rechenleistung. | Bild: OpenAI.

Es zeigt, dass das große Modell, dh das Modell, das besonders umfassend geschult wurde, dies kann viel besser berechnen und zuverlässig zwei- und dreistellige Zahlen addieren und subtrahieren. Das große Modell bietet auch bei anspruchsvolleren Rechenaufgaben eine bessere Leistung – ist jedoch in 75 bis 90 Prozent der Fälle falsch, sodass es für den täglichen Gebrauch weniger geeignet ist.

READ  Hier finden Sie die Mondbäume der NASA in den USA

OpenAI bestätigte auch, dass GPT-3 die mathematische Lösung war Lesen Sie nicht nur den großen Textstapel ein: Nur 0,8 Prozent und 0,1 Prozent der dreistelligen Mathematik- und Subtraktionstests von 2000 sind in den Trainingsdaten enthalten.

Mit anderen Worten: GPT-3 hat das Rechnen gelernt – obwohl es nie die Absicht der Entwickler war.

Hat GPT-3 gelernt zu lernen?

Facebook-Experimente zeigen, dass die Transformatorarchitektur mit GPT-3 dies kann komplexe mathematische Formeln lösen. Facebook verwendete hierfür einen speziellen Datensatz, der die KI direkt trainierte, um Formeln zu lösen.

GPT-3 hingegen macht einen Mangel an Trainingsdaten zu einer Tugend: Die KI lernt zu rechnen, um ihr eigenes Lernziel besser zu erreichen – das nächste wahrscheinliche Zeichen in einer Zeichenfolge vorhersagen.

Dies kann ein Hinweis darauf sein, dass ausreichend unterschiedliche KI-Systeme wie GPT-3 bestimmte Eigenschaften aufweisen allgemeine, logische Fähigkeiten kann lernen.

Da die Kurven in allen GPT-3-Fähigkeits-Benchmarks steil nach oben zeigen, wird OpenAI wahrscheinlich ein noch größeres Modell trainieren. Das kann noch besser rechnen und neue, unerwartete Fähigkeiten zeigen.

Wir sprechen ausführlich über OpenAIs GPT-3 und die unerwarteten mathematischen Fähigkeiten einer Text-KI in unserem MIXED.de Podcast # 205.

Durch: Arxiv

Lesen Sie mehr über OpenAIs GPT-3:

stabil 2

Plötzlich gut in Mathe: Haben Open AIs GPT-3 gelernt? wurde zuletzt geändert: 25. Juli 2020 durch Maximilian Zimmermann

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert