Selbst die besten KI-Modelle können einfache Mathematik nicht zuverlässig lösen

Systeme der künstlichen Intelligenz können Software schreiben und komplexe Probleme durchdenken. Dennoch können selbst grundlegende Rechenaufgaben überraschende Schwächen offenlegen.

Eine neue Studie untersucht, warum moderne KI-Modelle bei mehrstelliger Multiplikation scheitern – und welche Art von Training die Aufgabe schließlich beherrschbar macht.

Ungleichmäßige Fähigkeiten

Die Arbeit, die auf arXiv von Forschern der University of Chicago, Xiaoyan Bai und Chenhao Tan, gemeinsam mit Kollegen vom MIT, von Harvard, der University of Waterloo und Google DeepMind veröffentlicht wurde, befasst sich mit dem, was die Autoren als die „zerklüftete Front“ der KI bezeichnen.

Der Begriff beschreibt, wie Modelle bei anspruchsvollem Schlussfolgern glänzen können, zugleich aber an Aufgaben scheitern, die die meisten Menschen in der Grundschule lernen, etwa die Multiplikation zweier vierstelliger Zahlen.

Laut den Forschern liegt das Problem nicht allein in der Größe der Modelle, sondern darin, wie sie Informationen über mehrere Schritte hinweg verarbeiten.

Wo das Training versagt

Standardmäßige große Sprachmodelle werden in der Regel durch Feinabstimmung trainiert, die auf mehr Daten, tiefere Netzwerke oder längere Trainingszeiten setzt.

Als das Team jedoch Modelle mit zwei bis zwölf Schichten testete, erzielten alle weniger als 1 Prozent Genauigkeit bei der vierstelligen Multiplikation. Die Modelle blieben konsequent in dem stecken, was die Forscher als lokales Optimum beschreiben, unfähig, über oberflächliche Mustererkennung hinauszukommen.

Multiplikation erfordert das Nachhalten von Teilprodukten und Überträgen. Ohne eine Möglichkeit, diese Informationen zu speichern und abzurufen, scheitern die Modelle unabhängig davon, wie viele Daten sie sehen.

Ein anderer Ansatz

Der Durchbruch gelang mit einer Methode namens Implicit Chain of Thought, kurz ICoT. Anders als beim Standardtraining werden bei ICoT explizite Zwischenschritte des Denkens während des Trainings schrittweise entfernt, wodurch das Modell gezwungen wird, den Prozess zu verinnerlichen.

Mit ICoT erreichten die Forscher eine Genauigkeit von 100 Prozent bei derselben Multiplikationsaufgabe. Sie stellten fest, dass das Modell lernte, Zwischenwerte in seinen internen Zuständen zu kodieren – etwas, das Standardmodelle nie taten.

Das mit ICoT trainierte Modell organisierte seine Aufmerksamkeit zudem über die Zeit hinweg, indem es Ziffernpaare früh berechnete und später abrief, um das Endergebnis zusammenzusetzen.

Eine unerwartete Struktur

Im Inneren des erfolgreichen Modells entdeckte das Team überraschend elegante Repräsentationen. Ziffern wurden als wellenartige Fourier-Muster kodiert statt als einfache Symbole.

Operationen wie die Multiplikation traten als geometrische Prozesse hervor, darunter Minkowski-Summen, die von den Forschern nicht bewusst entworfen worden waren. Diese Strukturen entstanden auf natürliche Weise, als das Modell lernte, arithmetische Aufgaben effizient auszuführen.

Eine einfache Korrektur

Aufbauend auf diesen Erkenntnissen ergänzte das Team das Standardtraining um eine kleine Änderung: ein zusätzliches Ziel, das den Modellen beibringt, laufende Summen nachzuverfolgen.

Mit dieser einzigen Ergänzung erreichte selbst ein kleines zweischichtiges Modell eine Genauigkeit von 99 Prozent – ohne explizite Schritt-für-Schritt-Anleitung. Seine internen Mechanismen begannen denen der mit ICoT trainierten Modelle zu ähneln.

Größere Bedeutung

Die Autoren argumentieren, dass die Ergebnisse über die Arithmetik hinausreichen. Langreichweitige Abhängigkeiten treten in vielen Sprach- und Denkaufgaben auf, nicht nur in der Mathematik.

„Da KI zunehmend in kritische Entscheidungsprozesse integriert wird, ist es entscheidend, ihre einzigartigen Arten des Lernens und Denkens zu verstehen“, sagte Tan. „Unsere Forschung versucht, dieses Terrain zu kartieren.“

Quellen: University of Chicago