Haben Open AIs GPT-3 gelernt?

Die KI der OpenAI-Sprache kann zählen – zumindest ein wenig. Warum ist das überraschend und was bedeutet es?

Die ersten Entwickler haben seit Juni 2020 Zugriff darauf OpenAIs GPT-3 und demonstrieren Sie die beeindruckenden Fähigkeiten der Text-KI in verschiedenen Anwendungen: Sie kann Sprachbefehle verarbeiten funktionierender Webcode Transformation, Entwicklerlegende Imitieren Sie John Carmack oder als Suchmaschine werden verwendet.

Dies ist nur ein Bruchteil der verschiedenen KI-Experimente, die deutlich machen: GPT-3 überrascht mit unerwarteten Möglichkeiten.

Hattest du Arbeit zu erledigen … und zwei zu erledigen?

Die Möglichkeiten von GPT-3 sind unerwartet, da die Text-KI im Kern sehr einfach ist: Sie sagt das nächste wahrscheinliche Wort basierend auf einer vorhandenen Wortfolge voraus. Sie vervollständigt so Sätze, Gedichte oder ganze Aufsätze.

Während des Trainings wurden in GPT-3 insgesamt 470 Gigabyte Webtext angezeigt – einschließlich Codebeispielen oder arithmetischen Tabellen. Wie benutzt sie diese Symbole?

Die Experimente zeigen: Das Prinzip der Wortvorhersage wird nahtlos von Buchstaben auf Zahlen und Sonderzeichen übertragen. Es kommt also vor, dass GPT-3 Mathe kann – obwohl die KI nie explizit dafür trainiert wurde.

GPT-3 berechnet tatsächlich

Diese Möglichkeit bestand bereits im Mai, als OpenAI den neuen Text AI erstmals vorstellte. Im Rahmen der wissenschaftlichen Arbeit untersuchen die OpenAI-Forscher die mathematischen Fähigkeiten der KI.

Die Forscher ließen die große Variante von GPT-3 mit 175 Milliarden Parametern hinter kleineren Varianten in der Addition, Subtraktion und Multiplikation Beginnen Sie mit zwei- bis fünfstelligen Zahlen.

Das größte Modell zeigt einen deutlichen Leistungssprung in Bezug auf die Rechenleistung. | Bild: OpenAI.

Es zeigt, dass das große Modell, dh das Modell, das besonders umfassend geschult wurde, dies kann viel besser berechnen und zuverlässig zwei- und dreistellige Zahlen addieren und subtrahieren. Das große Modell bietet auch bei anspruchsvolleren Rechenaufgaben eine bessere Leistung – ist jedoch in 75 bis 90 Prozent der Fälle falsch, sodass es für den täglichen Gebrauch weniger geeignet ist.

OpenAI bestätigte auch, dass GPT-3 die mathematische Lösung war Lesen Sie nicht nur den großen Textstapel ein: Nur 0,8 Prozent und 0,1 Prozent der dreistelligen Mathematik- und Subtraktionstests von 2000 sind in den Trainingsdaten enthalten.

Mit anderen Worten: GPT-3 hat das Rechnen gelernt – obwohl es nie die Absicht der Entwickler war.

Hat GPT-3 gelernt zu lernen?

Facebook-Experimente zeigen, dass die Transformatorarchitektur mit GPT-3 dies kann komplexe mathematische Formeln lösen. Facebook verwendete hierfür einen speziellen Datensatz, der die KI direkt trainierte, um Formeln zu lösen.

GPT-3 hingegen macht einen Mangel an Trainingsdaten zu einer Tugend: Die KI lernt zu rechnen, um ihr eigenes Lernziel besser zu erreichen – das nächste wahrscheinliche Zeichen in einer Zeichenfolge vorhersagen.

Dies kann ein Hinweis darauf sein, dass ausreichend unterschiedliche KI-Systeme wie GPT-3 bestimmte Eigenschaften aufweisen allgemeine, logische Fähigkeiten kann lernen.

Da die Kurven in allen GPT-3-Fähigkeits-Benchmarks steil nach oben zeigen, wird OpenAI wahrscheinlich ein noch größeres Modell trainieren. Das kann noch besser rechnen und neue, unerwartete Fähigkeiten zeigen.

Wir sprechen ausführlich über OpenAIs GPT-3 und die unerwarteten mathematischen Fähigkeiten einer Text-KI in unserem MIXED.de Podcast # 205.

Durch: Arxiv

Lesen Sie mehr über OpenAIs GPT-3:

stabil 2

Plötzlich gut in Mathe: Haben Open AIs GPT-3 gelernt? wurde zuletzt geändert: 25. Juli 2020 durch Maximilian Zimmermann