Asger Risom
Eine erfundene Krankheit wurde von KI-Chatbots schnell übernommen und sogar in wissenschaftlichen Arbeiten zitiert — ein Hinweis darauf, wie leicht sich Fehlinformationen durch künstliche Intelligenz verbreiten können.
Eine fiktive Krankheit, die im Rahmen eines Experiments erfunden wurde, wurde schnell von großen KI-Chatbots aufgegriffen und weiterverbreitet — ein Beispiel dafür, wie leicht sich Fehlinformationen durch künstliche Intelligenz verbreiten können.
Der Fall hat bei Forschern Bedenken hinsichtlich der Zuverlässigkeit von KI-Systemen ausgelöst — insbesondere, wenn diese für medizinische Ratschläge genutzt werden.
Laut Nature erfanden die Forscherin Almira Osmanovic Thunström und ihr Team eine Krankheit namens „Bixonimania“, um zu testen, ob KI-Modelle erfundene Informationen als Fakten behandeln.
Sie veröffentlichten 2024 gefälschte wissenschaftliche Arbeiten zu dieser Krankheit. Innerhalb weniger Wochen begannen Chatbots, sie als real darzustellen.
Absichtlich offensichtlich falsch
Das Experiment war bewusst mit Warnsignalen versehen.
Die gefälschten Studien nannten einen nicht existierenden Hauptautor, verwiesen auf imaginäre Institutionen und enthielten sogar Referenzen auf die „Starfleet Academy“ und die „USS Enterprise“.
Einige Passagen erklärten ausdrücklich: „Dieses gesamte Paper ist erfunden“, während andere von „fünfzig erfundenen Personen“ in der Studie berichteten.
Dennoch wurden die Inhalte in Datensätze aufgenommen, die von KI-Systemen genutzt werden.
KI verbreitet die Fiktion
Kurz darauf begannen große Chatbots, die Krankheit zu reproduzieren.
Laut Nature bezeichnete Microsoft Copilot Bixonimania als „eine interessante und relativ seltene Erkrankung“, während Googles Gemini einen Zusammenhang mit Blaulicht-Exposition herstellte und ärztliche Beratung empfahl.
Auch andere Plattformen, darunter ChatGPT und Perplexity, erzeugten Erklärungen, Angaben zur Verbreitung und Hinweise zu Symptomen — teilweise sogar ohne direkte Nachfrage der Nutzer.
Von Chatbots zu Fachzeitschriften
Die Fehlinformation blieb nicht auf KI-Antworten beschränkt.
Die fiktive Krankheit wurde später in peer-reviewten wissenschaftlichen Arbeiten zitiert, was darauf hindeutet, dass einige Forscher KI-generierte Quellen ohne Überprüfung übernommen haben.
Eine solche Studie wurde schließlich zurückgezogen, nachdem die Aufnahme der erfundenen Krankheit entdeckt wurde.
Forscher sehen darin ein Beispiel dafür, wie Fehler von KI-Systemen in die formale wissenschaftliche Literatur gelangen können.
Warum es funktionierte
Experten zufolge spielte die Form eine entscheidende Rolle.
KI-Modelle vertrauen eher Informationen, die professionell formuliert erscheinen — insbesondere, wenn sie akademische oder medizinische Texte imitieren.
„Wenn ein Text professionell wirkt und wie von einem Arzt geschrieben ist, steigt die Wahrscheinlichkeit von Halluzinationen“, sagte ein Forscher gegenüber Nature.
Das Problem wird durch inkonsistente Antworten verstärkt: Dasselbe System kann Bixonimania je nach Fragestellung einmal als real und ein anderes Mal als erfunden einstufen.
Eine Warnung über KI hinaus
Das Experiment hat eine breitere Debatte über die Verbreitung von Fehlinformationen ausgelöst.
„Es wirkt zunächst amüsant, aber wir haben hier ein ernstes Problem“, sagte Alex Ruani, Forscher im Bereich Gesundheitsdesinformation, und bezeichnete den Fall als „Lehrbeispiel“ dafür, wie sich falsche Informationen verbreiten.
Die Ergebnisse zeigen Risiken nicht nur bei KI-Systemen, sondern auch in der Art und Weise, wie Menschen sie nutzen — insbesondere in Bereichen wie der Medizin, in denen Genauigkeit entscheidend ist.
Quellen: Nature