Kenneth Glad
Eine einfache Übung im Unterricht führte zu einem unerwarteten Muster in Dutzenden eingereichten Arbeiten. Das Ergebnis verdeutlicht die wachsende Herausforderung, eigenständige Leistungen in einer Zeit allgemein verfügbarer KI-Werkzeuge zu bewerten.
Ein Verweis auf Madagaskar tauchte in 32 von 35 eingereichten Arbeiten auf, nachdem ein Professor der Alcorn State University eine versteckte Anweisung in einer Prüfungsaufgabe platziert hatte.
Jason Gibson, der an der Universität im US-Bundesstaat Mississippi Geschichte lehrt, platzierte weißen Text auf weißem Hintergrund in einer Frage zur Industriellen Revolution. Die Anweisung konnte übernommen werden, wenn die Studierenden die Aufgabenstellung in einen Chatbot kopierten, obwohl sie beim normalen Lesen nicht sichtbar war.
Als Gibson die Arbeiten überprüfte, stellte er fest, dass nahezu alle Antworten der versteckten Anweisung folgten und Madagaskar in einen thematisch unzusammenhängenden Absatz einfügten. Gegenüber dem lokalen Sender WAPT erklärte er, dass die 32 Studierenden für diesen Teil der Prüfung keine Punkte erhielten.
Der Hinweis hat seine Grenzen
Das wiederholt auftauchende Wort deutet stark darauf hin, dass die versteckte Anweisung kopiert, verarbeitet und wiedergegeben wurde. Es belegt jedoch nicht, welcher Chatbot verwendet wurde, ob jede Antwort vollständig von einer KI erstellt wurde oder ob alle Studierenden dieselbe Vorgehensweise nutzten.
Laut der New York Post griff Gibson zu dieser Methode, nachdem ihm aufgefallen war, dass sich die schriftlichen Arbeiten mehrerer Studierender stark ähnelten und von deren Ausdrucksweise im Unterricht abwichen. Zudem erklärte er, dass herkömmliche Programme zur KI-Erkennung durch Umschreibungen und automatisierte Schreibwerkzeuge umgangen werden könnten.
Unabhängige Forschungsergebnisse sprechen ebenfalls für Vorsicht bei der Bewertung von KI-Erkennungssystemen. In einer Studie aus dem Jahr 2024 testeten Mike Perkins und sechs Mitautoren sechs Systeme anhand von 805 Textproben. Die durchschnittliche Trefferquote sank von 39,5 Prozent auf 17,4 Prozent, nachdem KI-generierte Texte mit Methoden zur Umgehung der Erkennung verändert worden waren.
Eine weitere Studie unter der Leitung von Debora Weber-Wulff bewertete zwölf öffentlich zugängliche KI-Erkennungssysteme sowie zwei kommerzielle Produkte. Die im International Journal for Educational Integrity veröffentlichte Untersuchung kam zu dem Schluss, dass die Systeme weder ausreichend präzise noch zuverlässig seien, um die Urheberschaft eines Textes eigenständig zu bestimmen.
Gibsons versteckte Anweisung lieferte ihm ein deutlich aussagekräftigeres Indiz als das Ergebnis eines KI-Erkennungssystems allein. Dennoch wurde der Vorfall bislang nicht durch eine unabhängige Überprüfung der Originaldateien der Studierenden verifiziert.
Quellen: WAPT, New York Post, Perkins et al., Weber-Wulff et al.