Asger Risom
Eine kleine Gruppe von Personen aus dem Inneren der KI-Branche hat ein umstrittenes Projekt gestartet, das darauf abzielt, die Technologie von innen heraus zu schwächen.
Eine kleine Gruppe von Personen aus dem Inneren der KI-Branche hat ein umstrittenes Projekt gestartet, das darauf abzielt, die Technologie von innen heraus zu schwächen. Beunruhigt über den Einsatz von KI-Systemen fordern sie Kritiker dazu auf, direkt zu handeln, statt auf Regulierung zu warten.
Eine neue Kampagne
Die Initiative mit dem Namen Poison Fountain ermutigt Website-Betreiber, KI-Systemen gezielt irreführende Informationen zu liefern, wenn diese das Internet nach Trainingsdaten durchsuchen. Das Projekt ist laut The Register seit etwa einer Woche aktiv.
KI-Modelle sind stark auf Daten angewiesen, die aus öffentlich zugänglichen Websites gewonnen werden. Sind diese Daten korrekt, verbessern sie die Leistung der Modelle. Sind sie fehlerhaft oder irreführend, kann dies die Qualität der darauf aufbauenden Systeme deutlich beeinträchtigen — genau diesen Effekt will die Gruppe ausnutzen.
Die Initiatoren von Poison Fountain argumentieren, dass diese Abhängigkeit eine zentrale Schwachstelle der modernen KI-Entwicklung darstellt.
Wie Datenvergiftung funktioniert
Datenvergiftung kann auf verschiedene Weise erfolgen — von einfachen sachlichen Fehlern auf Websites bis hin zu gezielten Manipulationen von Trainingsdatensätzen. The Register berichtete, dass solche Angriffe veränderten Code oder Inhalte beinhalten können, die subtile Fehler einführen, die für Modelle schwer zu erkennen sind.
Das Projekt beruft sich unter anderem auf Forschungsergebnisse des KI-Unternehmens Anthropic. In einer im vergangenen Oktober veröffentlichten Studie hieß es, dass Vergiftungsangriffe praktikabler seien als bislang angenommen und dass bereits eine geringe Anzahl bösartiger Dokumente die Ausgaben eines Modells spürbar verschlechtern könne.
Dabei dürfe Poison Fountain nicht mit schädlichen Ratschlägen verwechselt werden, die KI-Systeme selbst erzeugen können, betonte der Bericht.
Anonyme Insider
Eine Person, die The Register auf das Projekt aufmerksam machte, bat um Anonymität und verwies auf ihre Tätigkeit bei einem großen US-Technologieunternehmen im Bereich KI-Entwicklung. Ziel sei es, die sogenannte „Achillesferse“ der KI aufzuzeigen und andere dazu zu bewegen, sogenannte „Informationswaffen“ zu entwickeln.
Der Quelle zufolge sind fünf Personen beteiligt, von denen einige angeblich bei anderen großen KI-Unternehmen arbeiten. Dies konnte bislang nicht unabhängig bestätigt werden. Die Gruppe erklärte jedoch, sie wolle zu gegebener Zeit kryptografische Belege für mehrere Beteiligte vorlegen.
Aufruf zum Handeln
Auf der Website von Poison Fountain heißt es, passiver Widerstand reiche nicht mehr aus. „Wir stimmen Geoffrey Hinton zu: Maschinenintelligenz ist eine Bedrohung für die menschliche Spezies“, heißt es dort. „Als Reaktion auf diese Bedrohung wollen wir maschinellen Intelligenzsystemen Schaden zufügen.“
Die Seite stellt zwei Links zu vergifteten Datensätzen bereit — einen auf einer herkömmlichen Website und einen im Tor-Netzwerk, um eine Entfernung zu erschweren. Besucher werden aufgefordert, „die Kriegsanstrengungen zu unterstützen, indem sie diese vergifteten Trainingsdaten zwischenspeichern und weiterverbreiten“.
Debatte und Risiken
Wie The Register berichtet, setzen KI-Kritiker seit Langem auf Regulierung.
Die Gruppe hinter Poison Fountain argumentiert jedoch, dass Regeln allein eine Technologie nicht stoppen könnten, die bereits weit verbreitet sei. Aktive Störung sei aus ihrer Sicht die einzige verbleibende Option.
Einige Forscher stellen infrage, ob solche Maßnahmen notwendig sind, und verweisen darauf, dass KI-Systeme möglicherweise bereits durch eine übermäßige Abhängigkeit von synthetischen Daten an Qualität verlieren — ein Phänomen, das als Modellkollaps bekannt ist.
Andere warnen, dass Datenvergiftung in Desinformation übergeht, ein Problem, das in einem NewsGuard-Bericht aus dem Jahr 2025 über verschmutzte Online-Informationsökosysteme hervorgehoben wurde.
Unabhängig davon, ob Poison Fountain an Bedeutung gewinnt oder wieder verschwindet, macht das Projekt die wachsende Unruhe innerhalb der KI-Branche selbst über die zukünftige Entwicklung der Technologie deutlich.
Quellen: The Register; Anthropic