Wie verlässlich sind KI-Detektoren?

Dass ein Unternehmen das eigene Produkt benchmarkt, ist nichts Verdächtiges. Zum Problem wird es, wenn diese Zahlen in einem Prüfverfahren zitiert werden, als wären sie unabhängig erhoben — genau das ist die Norm.

Unabhängige Vergleiche finden typischerweise drei Dinge. Die Falsch-positiv-Raten liegen über dem Beworbenen, oft um eine Größenordnung. Verschiedene Detektoren widersprechen sich beim selben Text, mitunter dramatisch. Und die Genauigkeit bricht bei kurzen Texten, bei anderen Sprachen als Englisch und bei leicht überarbeitetem Text ein.

Die Meinungsverschiedenheit zwischen Werkzeugen ist der nützlichste Befund für alle, die einen Detektorenbericht erhalten. Wenn zwei Instrumente denselben Aufsatz mit 12% und 88% KI bewerten, misst keine der beiden Zahlen etwas Stabiles. Es sind eher zwei verschiedene Schätzungen.

Detektoren schätzen, wie vorhersagbar jeder Token angesichts der vorherigen ist. Ein Absatz mit hochgradig vorhersagbaren Wörtern punktet als maschinell. Texte in der Zweitsprache nutzen ein engeres Spektrum an Konstruktionen und konventionellere Konnektoren — das macht sie messbar vorhersagbarer und damit anfälliger für Markierungen.

Derselbe Mechanismus trifft weitere Gruppen: Schreibende mit Übersetzungswerkzeugen, Schreibende, die eine vorgeschriebene Aufsatzstruktur imitieren, und Schreibende, denen eine starre Formel beigebracht wurde. Das Werkzeug tut, wofür es gebaut wurde. Das Problem: „vorhersagbar“ und „maschinell erzeugt“ sind nicht dieselbe Eigenschaft, und die Ausgabe unterscheidet sie nicht.

Weil der Score Vorhersagbarkeit folgt und nicht Herkunft, bewegt er sich, wenn du die Oberfläche änderst. Lass ein Modell einen menschlichen Aufsatz umformulieren — der Score steigt. Schick einen generierten Aufsatz durch ein Umschreiben — er kann fallen. Das Überarbeiten des eigenen Textes in ein anderes Register kann ihn in beide Richtungen schieben.

Deshalb ist „KI-Spuren beseitigen“ kein Weg zu einem niedrigen Score. Interpunktion auszutauschen verändert die Token-Vorhersagbarkeit kaum, weshalb das Entfernen jedes Gedankenstrichs einen Detektorenwert nicht wesentlich bewegt. Wer einen „Humanizer“ als Detektor-Bypass verkauft, verkauft eine Behauptung, die die Technik nicht trägt.

1. Betrachte den Score als Anlass, genauer hinzuschauen, nie als Befund. Das sagen die meisten institutionellen Regeln bereits, und es ist die korrekte Lesart der Evidenz.
2. Frage nach dem Kontext des Scores: welches Werkzeug, welcher Schwellenwert, welche Textlänge, was sagt der Anbieter zur Falsch-positiv-Rate in diesem Genre.
3. Nutze nie einen Detektor allein für eine Entscheidung, die eine Person trifft. Die Fehlerquote ist zu hoch, und die Fehler sind ungleich verteilt.
4. Bist du die beschuldigte Person, verschiebe das Gespräch auf das Verfahren: was tun, wenn dir KI-Schreiben vorgeworfen wird.
5. Zielt du wirklich auf einen besseren Entwurf statt auf eine kleinere Zahl, nimm einen Muster-Checker, der Zählungen meldet, mit denen du arbeiten kannst.