KI-Detektoren funktionieren – und warum viele Menschen das Gegenteil behaupten

«Fundamentally I think it’s impossible to make it perfect». Die Aussage des OpenAI-Gründers Sam Altman über KI-Detektoren hallt heute in den Aussagen vieler Expert:innen und Pseudo-Expert:innen nach. Sie behaupten, KI-Detektoren funktionierten nicht. Deshalb sei es nicht sinnvoll, sie einzusetzen.

Diese beiden Aussagen muss man trennen: Die eine ist deskriptiv – sie macht eine Aussage über bestimmte Tools, die getestet werden können. Die Aussage lautet: Diese Tools funktionieren nicht. Diese Aussage ist so falsch. Es gibt funktionieren Detektoren, insbesondere Originality.ai kann recht zuverlässig erkennen, ob Texte von einer KI generiert wurden.

Die zweite Aussage ist normativ. Sie lautet: Solche Tools sollten in vielen Kontexten nicht eingesetzt werden, sie schaden mehr, als sie nützen. Das hängt von den Umständen ab, unter denen diese Tools eingesetzt werden. Und von den Konsequenzen, die dieser Einsatz hat. Damit der Einsatz sinnvoll ist, muss er transparent kommuniziert werden und so erfolgen, dass eine Toleranz bezüglich der Fehler, die solche System machen, berücksichtigt wird.

Warum behaupten viele Menschen, die sich mit KI auseinandersetzen, es gäbe keine funktionierenden Detektoren? Das hat verschiedene Gründe:

1. Die Aussage, von Menschen gemachte Texte, Bilder und Videos seien grundsätzlich und prinzipiell nicht von maschinengenerierten zu unterscheiden, wird für Marketing von KI-Tools missbraucht. Menschen setzen sie auch da sein, wo sie nicht dürften. Die Anbieter:innen und Berater:innen nehmen ihnen die Angst, dass das erkannt werden könnte.
2. Die Funktionsweise der Detektoren ist vielen Menschen nicht bekannt. Auch Fachpersonen behaupten, KI-Detektoren würden sich auf bestimmte Textmerkmale beziehen, um daraus eine Beurteilung abzuleiten. Die funktionierenden Detektoren setzen aber genau so wie die text- oder bildgenerierenden Tools Machine-Learning ein, um KI-gemachte von menschengemachten Produkten zu unterscheiden. Vereinfacht gesagt können Maschinen fast jedes Muster hervorbringen – und genau so können sie fast jedes Muster erkennen. (Und wir müssen ihnen nicht einmal sagen, worin das Muster besteht.)
3. Viele Menschen testen die kostenlos zugänglich Detektoren und bilden sich darüber ihr Urteil. Die leistungsfähigen Tools sind aber kostenpflichtig, so auch Originality.
4. «Funktionieren» wird zuweilen falsch verstanden. Detektoren erkennen nicht 100% der maschinengenerierten Texte. In 2-3% der Fälle kommt es zu False Positives und False Negatives. Diese Fehlerquote ist nicht 0, aber sie ist auch nicht so hoch, dass man diese Tools nicht benutzen könnte.
   (Hinzu kommt, dass Originality Prozent-Werte ausgibt, die oft missverstanden werden. 84% KI bedeutet, dass 100 solche Texte 84x von einer KI und 16x von einem Menschen geschrieben werden – es bedeutet nicht, dass 84% des Textes von einer Maschine geschrieben wurde, sondern drückt eine Wahrscheinlichkeit aus, dass KI verwendet wurde.)
5. Expert:innen möchten oft nicht, dass KI-Detection zum Einsatz kommt, z.B. an Schulen oder Hochschulen. Das ist oft ein sinnvoll begründetes Urteil, das mit dem Hinweis verstärkt wird, dass diese Detection gar nicht funktioniere. Mit diesem Beitrag möchte ich das unterbinden: Wer gute Argumente hat, muss bei den Prämissen nicht ungenau werden.
6. Das «Überarbeiten»-Problem: Frage ich Schüler:innen, ob sie einen Text von einer KI haben erstellen lassen, sagen sie fast immer: «Nein, ich habe ihn nur mit einem KI-Tool korrigiert, das darf ich ja.» Viele Fachpersonen denken, ein mit einem KI-Tool überarbeiteter Text sei nicht KI-generiert. Die Tools auf dem Markt verwenden eine Systematik, die ich unten abgebildet habe:

Fazit: KI-Detektoren funktionieren. Und: Es gibt gute Gründe, sie nicht flächendeckend einzusetzen.

(Vielleicht noch eine persönliche Bemerkung: Mir ist es wichtig, offene, ehrliche Beziehungen mit Schüler:innen zu haben. Wenn sie mir sagen, was sie mit ChatGPT gemacht haben, kann ich sie unterstützen und mit ihnen arbeiten. Wenn sie mir etwas vormachen, geht das nicht. Der Verweis auf KI-Detektoren kann hier helfen, eine ehrliche Kommunikation herzustellen. Ohne Drohung, ohne Strafe. Es gibt kein Recht auf gute Noten durch Betrug.)