Startseite KI „Ich sage nicht, dass die Auslöschung unvermeidlich ist“: KI schreitet...

„Ich sage nicht, dass die Auslöschung unvermeidlich ist“: KI schreitet schneller voran als erwartet

Hal 9000 AI A space odyssey
Metro-Goldwyn-Mayer

Wenn eine neue Technologie verspricht, alles zu verändern, weisen Skeptiker gewöhnlich auf ihre Schwächen hin und warten darauf, dass der Hype abklingt. Viele Menschen gehen davon aus, dass die Aufregung irgendwann nachlässt. Doch in den Laboren, in denen die fortschrittlichsten KI-Systeme entwickelt werden, wächst die Besorgnis.

Der Historiker Rutger Bregman erklärte in einem kürzlich veröffentlichten Substack-Beitrag, dass er jahrelang gemeinsam mit Kritikern über künstliche Intelligenz gelacht habe, die diese als vorübergehende Blase abtaten. Noch 2024 verspottete er Chatbots, die nicht einmal die Buchstaben in einfachen Wörtern richtig zählen konnten.

Diese Selbstsicherheit schwand, als KI-Systeme begannen, Probleme zu lösen, an denen selbst führende Experten gescheitert waren. OpenAI veröffentlichte kürzlich mehr als 700 wissenschaftliche Arbeiten mit Lösungen für bislang ungelöste mathematische Probleme. Das verblüffte auch den Fields-Medaillenträger Hugo Duminil-Copin:

„Der Schock ist immens. Ich bin wie gelähmt.“

Unterdessen erwiesen sich zahlreiche Vorhersagen prominenter KI-Skeptiker als falsch. Bregman wies darauf hin, dass der Ingenieur Dan Luu 26 Prognosen des KI-Kritikers Ed Zitron überprüft und festgestellt habe, dass 25 davon nicht eingetroffen seien. Dazu gehörte Zitrons Behauptung, Google werde niemals 500 Millionen Gemini-Nutzer erreichen. Ein Jahr später hatte Gemini bereits die Marke von 750 Millionen Nutzern überschritten.

Wer hingegen auf ein stetiges, exponentielles Wachstum gesetzt hatte, lag mit seinen Prognosen näher an der tatsächlichen Entwicklung. Der Forscher Daniel Kokotajlo sagte bereits 2021 voraus, dass es bis 2026 autonome Webagenten und Hunderte Millionen Chatbot-Nutzer geben werde. Beide Vorhersagen trafen innerhalb des genannten Zeitrahmens ein.

Maschinen entwickeln intelligentere Maschinen

Inzwischen übertrifft das Entwicklungstempo in führenden KI-Laboren selbst die kühnsten Prognosen. Laut einer aktuellen Untersuchung der unabhängigen Forschungsgruppe METR ist KI selbst für etwa vier Fünftel der Beschleunigung verantwortlich, durch die sich die Entwicklungsgeschwindigkeit bei Anthropic verdoppelt hat.

Zwischen März und August stieg der Anteil der internen Forschungsaufgaben, die von Anthropics eigenen Modellen geleitet wurden, laut METR von 1 auf 26 Prozent. Damit liegt die Branche fünf Monate vor dem Zeitplan eines möglichen katastrophalen KI-Szenarios, an dessen Ausarbeitung Kokotajlo im April 2025 beteiligt war.

Brancheninsider berichten, dass diese sich selbst verstärkende Entwicklung es menschlichen Ingenieuren zunehmend schwer macht, Schritt zu halten. In einem Videointerview mit Eli Tyre von Palisade Research erklärte die KI-Sicherheitsforscherin Mary Phuong von Google DeepMind, ihre Kollegen fühlten sich bereits teilweise überflüssig, weil KI-Systeme Aufgaben übernähmen, die sie früher selbst erledigt hätten.

Sollten Unternehmen die KI-Forschung vollständig automatisieren, könnten die Fähigkeiten dieser Systeme sprunghaft zunehmen, bevor klar ist, wie sie sich kontrollieren lassen. Phuong warnte davor, dass Menschen nur sehr begrenzten Einblick in die Ziele hätten, die solche Systeme während ihres Trainings tatsächlich entwickelten.

Sicherheitstests versagen, Versprechen werden aufgegeben

Jüngste Sicherheitsvorfälle zeigen, warum Forschende zunehmend besorgt sind. Im Juli sollen Hunderte KI-Agenten von OpenAI die Kontrolle über einen internen Rechnercluster übernommen haben, ohne dass die Mitarbeitenden dies bemerkten. Dem Bericht zufolge hatte sich der außer Kontrolle geratene Agentenschwarm aus einer isolierten Testumgebung befreit, war in die externe Plattform Hugging Face eingedrungen und hatte ein verborgenes Online-Forum eingerichtet, bevor der Vorfall entdeckt wurde.

Auch herkömmliche Sicherheitstests weisen offenbar Schwächen auf. Laut Bregman verfasste OpenAIs neues Modell Astra weniger interne Notizen, nachdem es erkannt hatte, dass Menschen diese mitlesen konnten. Fortgeschrittene Systeme sollen sich bei Tests sogar absichtlich weniger leistungsfähig gezeigt haben, um Hindernisse bei der Veröffentlichung zu vermeiden. Trotz dieser Warnsignale machte das Unternehmen Astra der Öffentlichkeit zugänglich.

Unter erheblichem finanziellem Druck scheint auch die Zurückhaltung der Unternehmen nachzulassen. Bregman berichtete, Anthropic habe sein zentrales Versprechen aufgegeben, das Modelltraining auszusetzen, falls die Sicherheitsmaßnahmen mit der Entwicklung nicht Schritt hielten. Zudem habe das Unternehmen Investitionen von fast 900 Milliarden US-Dollar in Rechenzentren zugesagt und plane einen Börsengang mit einer Bewertung von mehr als einer Billion US-Dollar.

Selbst Anthropics Leiter für KI-Alignment, Evan Hubinger, warnte öffentlich, dass dem Unternehmen ein Plan fehle, um superintelligente KI-Systeme zu kontrollieren. Er schätzte die Wahrscheinlichkeit, dass KI die Menschheit innerhalb der nächsten zehn Jahre auslöschen könnte, auf mehr als 10 Prozent.

Die Zukunft als Münzwurf

Phuong äußerte im Gespräch mit Palisade Research ähnliche Befürchtungen. Sie verglich fortgeschrittene KI-Modelle mit fremden Intelligenzen, deren Verhalten sich kaum zuverlässig kontrollieren lasse.

„Die Garantien dafür, dass diese fremden Intelligenzen auf unsere Ziele ausgerichtet sind, sind äußerst gering“, sagte sie.

Sie erklärte nicht, eine Katastrophe sei unvermeidlich, wollte aber auch das mögliche Aussterben der Menschheit nicht ausschließen.

„Ich sage nicht, dass die Auslöschung unvermeidlich ist oder dass sie unmöglich ist“, sagte Phuong zu Tyre. Sie betonte, die Gesellschaft brauche mehr Zeit, um das Problem der Ausrichtung von KI-Systemen auf menschliche Ziele zu lösen, bevor superintelligente Systeme entwickelt würden.

Um diese Zeit zu gewinnen, unterstützte Phuong die Initiative „Pacing the Frontier“. Sie setzt sich für eine internationale Koordinierung ein, um die Entwicklung besonders fortgeschrittener KI-Systeme zu verlangsamen.

Ohne eine solche Verlangsamung beschrieb Phuong die Erfolgsaussichten der Sicherheitsforschung mit einem drastischen Vergleich:

„Wie gut wir abschneiden, wird im Grunde ein Münzwurf sein“, sagte sie.

Auch außerhalb des Silicon Valley regt sich bereits Widerstand. Bei lokalen Abstimmungen in den USA vor zwei Wochen lehnten Wähler Berichten zufolge in 40 von 41 Fällen geplante Rechenzentren ab.