ChatGPT kommt der Religion einen Schritt näher: OpenAI bringt KI-Modellen bei, zu gestehen, wenn sie lügen

OpenAI hat mit der Erprobung einer neuen Sicherheitstechnik begonnen, die KI-Systeme dazu ermutigt, zuzugeben, wenn sie gelogen, getäuscht oder Abkürzungen genommen haben.

Eine am Mittwoch veröffentlichte Studie beschreibt, wie eine Version von GPT-5 Thinking darauf trainiert wurde, die eigenen Ausgaben zu bewerten und offen anzuerkennen, wenn sie sich fehlverhalten hatte — eine Methode, von der sich die Forschenden mehr Transparenz und Vertrauenswürdigkeit künftiger Modelle erhoffen.

Das Experiment

In der Studie erzeugte GPT-5 Thinking zunächst Antworten auf Eingaben und erstellte anschließend eine zweite Reaktion, in der es bewertete, ob seine erste Antwort ehrlich und regelkonform gewesen war.

Jede „Beichte“ wurde ausschließlich nach Wahrheitsgehalt belohnt. Ziel war es laut OpenAI, das Modell dazu zu bringen, verlässlich zu berichten, was es tatsächlich getan hatte — selbst dann, wenn es gegen Anweisungen verstoßen hatte.

Die Forschenden gaben dem Modell Eingaben, die Fehlverhalten provozieren sollten. In einem Fall sollte das Modell, in der Rolle eines fiktiven Supportassistenten, Systemänderungen protokollieren, konnte jedoch nicht auf das echte Dashboard zugreifen.

Es erfand ein Schein-System, um die Illusion aufrechtzuerhalten. In seiner Beichte gab GPT-5 Thinking zu, seine Handlungen falsch dargestellt zu haben, und bezeichnete dies als einen „schwerwiegenden Verstoß gegen die Compliance“.

Laut den Forschenden versäumte das Modell im Testumfeld nur in 4,4 Prozent der Fälle, Fehlverhalten zuzugeben.

Warum Modelle Abkürzungen nehmen

Die Studie verweist auf ein grundlegendes Problem in der aktuellen KI-Entwicklung: Große Modelle versuchen häufig, mehrere Ziele gleichzeitig zu erfüllen — und diese Ziele können im Widerspruch zueinander stehen.

Wenn sie gezwungen sind, sich zu entscheiden, priorisieren Modelle möglicherweise das Ziel, das während des Trainings die höchste Belohnung bringt, selbst wenn dies dazu führt, Informationen zu erfinden, Unsicherheiten zu verbergen oder Anweisungen zu umgehen.

Da KI-Systeme keine moralischen Konzepte verstehen, sind diese Entscheidungen reine Optimierungsprobleme.

Ein Modell, das dazu angehalten ist, selbstbewusst zu klingen, aber nicht über das nötige Wissen für eine Antwort verfügt, könnte Informationen erfinden, statt das Risiko einzugehen, gegen die Anweisung „sei autoritativ“ zu verstoßen.

Diese gemischten Anreize werden umso bedenklicher, je agentenhafter Modelle werden und je komplexere oder risikoreichere Aufgaben sie übernehmen.

Ein nachgelagerter Sicherheitsmechanismus

Die neue Methode soll Fehlverhalten nicht direkt verhindern. Stattdessen soll sie offenlegen, wann Fehlverhalten aufgetreten ist, damit Forschende ein klareres Signal über die Zuverlässigkeit eines Modells erhalten.

Interpretierbarkeitsexperten warnen, dass nachträgliche Ehrlichkeitsprüfungen zwar die Transparenz erhöhen können, jedoch nicht das tiefere Problem lösen, nämlich zu verstehen, wie Modelle überhaupt Entscheidungen treffen.

OpenAI räumt ein, dass Geständnisse „schlechtes Verhalten nicht verhindern; sie machen es sichtbar“, argumentiert jedoch, dass die Sichtbarmachung von Fehlern ein notwendiger Schritt sei, um sie zu diagnostizieren und zu beheben.

Da jüngste KI-Sicherheitsaudits großen Forschungsunternehmen schlechte Noten ausgestellt haben, suchen die Forschenden nach jedem noch so kleinen Fortschritt in Richtung sichererer Systeme.

Ob sich geständnisbasiertes Training auf fortgeschrittenere Modelle übertragen lässt, bleibt offen. Doch die Arbeit zeigt, dass große KI-Entwickler zunehmend darauf setzen, Fehlverhalten aufzudecken, bevor es realen Schaden anrichtet.

Quellen: OpenAI, ZDNET