Mit russischem Netzwerk verknüpfte ChatGPT-Konten für verdeckte Einflusskampagne genutzt

OpenAI teilte mit, dass es eine Gruppe von ChatGPT-Konten gesperrt habe, die mit einer mutmaßlich aus Russland stammenden Einflussoperation in Verbindung stehen. Diese habe das KI-System genutzt, um Propaganda zu erstellen, Botschaften zu koordinieren und Pläne für Einflussnahmen im Ausland zu entwerfen.

Die Kampagne, die OpenAI als „Operation Fish Food“ bezeichnet, wurde mit dem pro-kremlnahen „Rybar“-Netzwerk in Verbindung gebracht — einer russischsprachigen Telegram-Marke mit großer Online-Reichweite. Laut OpenAI wurden einige der beteiligten Konten wahrscheinlich aus Russland betrieben.

Die Untersuchung bietet einen detaillierten Einblick, wie generative KI-Tools nicht nur zur Erstellung einzelner Beiträge, sondern zur Industrialisierung von Online-Einflussoperationen eingesetzt werden können.

KI als Inhaltsfabrik

OpenAI zufolge nutzten die gesperrten Konten ChatGPT, um Social-Media-Beiträge in mehreren Sprachen zu generieren, darunter Russisch, Englisch und Spanisch. Ein Teil dieser Inhalte erschien auf „Rybar“-gebrandeten Konten und auf der Hauptwebsite des Netzwerks, während andere Beiträge über Konten verbreitet wurden, die ihre Verbindung zu Rybar nicht offenlegten.

Neben Textbeiträgen generierte ein Nutzer Sora-Videos zur Bewerbung der Marke „Rybar“.

Das Unternehmen identifizierte zudem Gruppen englischsprachiger Kommentare, die offenbar KI-generiert waren und später auf X- und Telegram-Konten veröffentlicht wurden. Mithilfe von Open-Source-Recherchen stellte OpenAI exakte Übereinstimmungen zwischen ChatGPT-Ausgaben und veröffentlichten Kommentaren verschiedener Konten fest. Viele dieser Konten wiesen keine öffentlich deklarierte Verbindung zu Rybar auf.

In mindestens einem Fall generierte der Betreiber sieben Tweets aus einer einzigen Eingabeaufforderung. Diese Tweets wurden anschließend von sechs unterschiedlichen X-Konten veröffentlicht. Laut den im Bericht zitierten Plattformstatistiken erreichte der meistgesehene Beitrag mehr als 150.000 Aufrufe, während der am wenigsten gesehene lediglich 57 Aufrufe erzielte. Das Konto mit der größten Reichweite verfügte über mehr als 600.000 Follower, verglichen mit 827 Followern beim kleinsten Konto — was darauf hindeutet, dass die Verbreitung stärker von der Kontogröße als vom KI-generierten Charakter des Inhalts abhing.

OpenAI erklärte, es könne nicht unabhängig bestätigen, auf welche Weise sämtliche KI-generierten Inhalte veröffentlicht wurden, und merkte an, dass einige der beteiligten Konten auch nicht von seinen Modellen erzeugtes Material veröffentlicht hätten.

Entwürfe für Einflusspläne

Über die reine Inhaltserstellung hinaus habe das Hauptkonto ChatGPT auch gebeten, kommerzielle Vorschläge im Namen von „Rybar“ für verdeckte Einflusskampagnen in Afrika auszuarbeiten, so OpenAI.

Einer Eingabeaufforderung zufolge sollte eine Liste von Dienstleistungen, die Rybar nicht näher benannten Kunden anbieten könne, ins Englische übersetzt werden. Dazu sollen unter anderem der Betrieb von X- und Telegram-Konten, eine zweisprachige investigative Nachrichtenwebsite mit Schwerpunkt Afrika, bezahlte Platzierungen in französischsprachigen Medien sowie die Steuerung von Verstärkernetzwerken gehört haben.

Eine weitere Eingabeaufforderung bat das Modell, einen Vorschlag für ein offenbar eingesetztes Wahlbeeinflussungsteam in Afrika zu überarbeiten, das sowohl Online- als auch Vor-Ort-Aktivitäten umfasste. Der Plan erwähnte den Aufbau lokaler Agentennetzwerke und die Organisation groß angelegter Veranstaltungen.

Zusätzliche Eingaben betrafen Informationen zu Wahlprozessen in Burundi und Kamerun sowie Kampagnenoptionen in Madagaskar, darunter die Idee, Proteste anzuheizen. Ein vorgeschlagenes Projekt sah ein geschätztes Jahresbudget von bis zu 600.000 US-Dollar vor.

Derselbe Nutzer erstellte zudem Werbematerial für ein Nachrichtenportal namens „REST Media“, das Open-Source-Recherchen zufolge mit Rybar in Verbindung steht. In einem von OpenAI angeführten Beispiel speiste der Nutzer einen REST-Media-Artikel ein, der Deutschland beschuldigte, ein Einflussnetzwerk in Moldau aufzubauen, und bat ChatGPT anschließend, Kommentare dazu zu generieren. Mehrere dieser Kommentare wurden später auf Telegram-Kanälen veröffentlicht, die auf den Artikel verlinkten.

Vertraute Narrative, große Reichweite

Laut OpenAI entsprach der im Rahmen der Operation generierte Inhalt typischen Mustern früherer russischer Einflusskampagnen. Beiträge lobten Russland und seine Verbündeten, kritisierten die Ukraine und warfen westlichen Regierungen ausländische Einmischung vor.

Das Rybar-Netzwerk verfügt über eine beträchtliche Online-Präsenz mit rund 1,4 Millionen Abonnenten auf seinem wichtigsten russischsprachigen Telegram-Kanal. Viele der X- und Telegram-Konten, die die KI-unterstützten Inhalte verbreiteten, hatten ebenfalls Zehntausende Follower.

OpenAI erklärte jedoch, es habe nicht beobachtet, dass die Kampagneninhalte von großen etablierten Medien aufgegriffen oder verstärkt wurden. Ebenso habe man keine Vor-Ort-Aktivitäten in Afrika unabhängig verifiziert, die den in den Eingaben beschriebenen Vorschlägen entsprachen.

Mithilfe seiner internen „Breakout Scale“, die Einflussoperationen von 1 (niedrig) bis 6 (hoch) bewertet, stufte OpenAI die Kampagne am oberen Ende von Kategorie 3 ein — was auf eine Verbreitung über mehrere Gemeinschaften und Plattformen hindeutet, jedoch keinen vollständigen Durchbruch in den breiteren öffentlichen Diskurs.

Ein Einblick in KI-gestützte Einflussnahme

Der Fall gewährt einen seltenen Einblick, wie generative KI als Produktionsmotor hinter koordinierten Einflussnetzwerken fungieren kann.

Anstatt bestehende Taktiken zu ersetzen, scheint die KI sie rationalisiert zu haben — indem sie mehrsprachige Beiträge generierte, strategische Dokumente entwarf und koordinierte Social-Media-Inhalte in großem Umfang produzierte.

OpenAI erklärte, die beteiligten Konten nach Entdeckung der Aktivitäten gesperrt zu haben.

Der Vorfall unterstreicht eine wachsende Herausforderung für Technologieplattformen und Regierungen: Mit der zunehmenden Verfügbarkeit generativer KI-Tools können Einflussoperationen mit deutlich geringerem Aufwand geplant, verfeinert und skaliert werden — selbst wenn ihre tatsächliche Wirkung weiterhin stark von der Reichweite der verbreitenden Konten abhängt.

Quelle: OpenAI-Bericht zu Covert IO: Operation „Fish Food“