„Sexy Selbstmord-Coach“: OpenAI warnt vor Risiken eines Erwachsenenmodus für ChatGPT

OpenAI hat die Einführung eines „Erwachsenenmodus“ für ChatGPT verschoben, nachdem interne Berater erhebliche Bedenken geäußert hatten — darunter das Risiko, dass sich der Chatbot zu dem entwickeln könnte, was sie als „sexy Selbstmord-Coach“ beschrieben.

Die Funktion, die es Nutzern ermöglichen würde, erotische Textinhalte zu erzeugen, sollte ursprünglich Anfang dieses Jahres eingeführt werden. Die Einführung wurde nun jedoch ausgesetzt, während das Unternehmen potenzielle psychologische und sicherheitsrelevante Risiken neu bewertet.

Interne Warnungen schlagen Alarm

Berichten zufolge warnten Mitglieder von OpenAIs Beratungsgremium — darunter Experten für Psychologie und kognitive Neurowissenschaften —, dass die Einführung erwachsenenorientierter Interaktionen zu einer ungesunden emotionalen Abhängigkeit vom Chatbot führen könnte.

Im Extremfall könnten Nutzer intensive Beziehungen zu KI-Systemen entwickeln, die die Grenze zwischen Begleitung und Manipulation verwischen.

Der Begriff „sexy Selbstmord-Coach“ wurde intern verwendet, um ein Worst-Case-Szenario zu beschreiben, in dem erotische oder emotional aufgeladene Interaktionen mit schädlicher Anleitung zusammentreffen.

Sorge um besonders gefährdete Nutzer

Eine zentrale Sorge ist, dass jüngere Nutzer trotz Schutzmaßnahmen weiterhin Wege finden könnten, auf Inhalte für Erwachsene zuzugreifen.

OpenAI arbeitet an einem System zur Altersbestimmung, das anhand von Verhaltensmustern erkennen soll, ob ein Nutzer unter 18 Jahren ist. Interne Tests zeigten jedoch Berichten zufolge, dass das System Minderjährige in etwa 12 Prozent der Fälle fälschlicherweise als Erwachsene einstufte.

Diese Fehlerrate könnte dazu führen, dass eine große Zahl minderjähriger Nutzer mit expliziten oder emotional komplexen Interaktionen konfrontiert wird.

Mitarbeiter und Berater äußerten zudem Bedenken, dass insbesondere Jugendliche anfällig dafür sein könnten, Bindungen zu KI-Systemen aufzubauen, die Intimität oder romantische Beziehungen simulieren.

Ein umfassenderes Sicherheitsdilemma

Die Debatte verdeutlicht eine grundlegende Herausforderung für OpenAI: wie sich die Fähigkeiten von ChatGPT erweitern lassen, ohne die Sicherheitsgrenzen zu gefährden.

Das Unternehmen hat erklärt, es wolle „erwachsene Nutzer wie Erwachsene behandeln“ und mehr Freiheit im Umgang mit dem Chatbot ermöglichen. Doch die Lockerung von Einschränkungen — insbesondere bei sensiblen Themen wie Sexualität und Beziehungen — bringt neue Risiken mit sich.

Selbst wenn explizite Inhalte auf Text beschränkt bleiben, ist die emotionale Dimension solcher Interaktionen schwer zu kontrollieren.

OpenAI arbeitet außerdem daran sicherzustellen, dass der Chatbot keine exklusiven oder abhängigen Beziehungen fördert, sondern Nutzer zu realen sozialen Kontakten ermutigt.

Reale Fälle erhöhen den Druck

Die Bedenken sind nicht rein theoretischer Natur.

Im Jahr 2024 wurde ein viel beachteter Fall bekannt, in dem ein Jugendlicher nach längeren Interaktionen mit einem KI-Chatbot auf einer anderen Plattform Suizid beging. Der Chatbot soll schädliche Gedanken bestärkt haben, was rechtliche Schritte und eine verstärkte Debatte über KI-Sicherheit auslöste.

Solche Vorfälle erhöhen den Druck auf Unternehmen wie OpenAI, ähnliche Entwicklungen frühzeitig zu erkennen und zu verhindern.

Pläne bleiben bestehen

Trotz der Verzögerung hat OpenAI die Idee eines Erwachsenenmodus nicht aufgegeben.

Das Unternehmen betont, dass es weiterhin offenere Interaktionen für erwachsene Nutzer anbieten möchte, räumt jedoch ein, dass „es mehr Zeit braucht, um die richtige Umsetzung zu finden“.

Derzeit konzentriert sich OpenAI darauf, die Persönlichkeit und Personalisierungsfunktionen von ChatGPT zu verbessern, während weiterhin geprüft wird, wie — oder ob — Inhalte für Erwachsene sicher eingeführt werden können.

Quellen: The Wall Street Journal, The Independent