"Jeder KI-Detektor zeigt etwas anderes" — welchem soll man glauben?
Warum derselbe Text bei verschiedenen KI-Detektoren völlig unterschiedliche Werte bekommt und woran Sie sich in diesem Fall tatsächlich orientieren sollten.
Frage
Ich habe denselben Text bei drei Anbietern geprüft und 12 %, 58 % und 94 % bekommen. Können die Ergebnisse wirklich so weit auseinanderliegen? Welchem soll ich glauben?
Kurze Antwort
Keiner der drei Werte ist eine Zahl, die man einfach glauben sollte. Und eine Streuung in dieser Größenordnung ist kein Ausnahmefall, sondern normal.
Warum die Ergebnisse so weit auseinandergehen
1. Die Maßstäbe sind verschieden
Jedes Werkzeug gewichtet die Stilmerkmale anders. Beim selben Text liegen die Schwerpunkte anders, also gehen die Ergebnisse auseinander. Es ist weniger wie eine Temperaturmessung, sondern eher so, als würde jeder mit seinem eigenen Maßstab bewerten, wie glatt ein Text ist.
2. Die Trainingsgrundlage ist verschieden
Ein Werkzeug, das vor allem für Englisch gebaut wurde, liefert bei deutschen Texten instabile Ergebnisse. Komposita, die Verbklammer und die freiere Satzstellung lassen sich nicht einfach eins zu eins übertragen.
3. Die Textlänge schlägt stark durch
Je kürzer der Text, desto größer die Streuung. Bei drei oder vier Sätzen fehlt die Grundlage für eine Statistik. Deshalb bekommen Anfang und Ende desselben Textes getrennt geprüft unterschiedliche Werte.
4. Das Ergebnis ist keine Wahrscheinlichkeitsangabe im mathematischen Sinn
Der am häufigsten missverstandene Punkt. "94 %" heißt nicht "mit 94-prozentiger Wahrscheinlichkeit von einer KI geschrieben". Der Wert steht eher für die Stärke eines Signals, und jedes Werkzeug legt dieses Signal auf eine andere Skala. Die Zahlen sind von vornherein nicht miteinander vergleichbar.
Worauf Sie stattdessen schauen sollten
Bilden Sie keinen Mittelwert. Sehen Sie sich lieber an, welche Stellen mehrere Werkzeuge gemeinsam markieren.
Wenn alle drei denselben Absatz anstreichen, liest sich dieser Absatz tatsächlich flach. Die Werte weichen ab, aber bei der Frage, wo es hakt, überschneiden sich die Einschätzungen häufig.
Öffnen Sie diesen Absatz und stellen Sie eine Frage:
Steht hier meine Einschätzung oder eine konkrete Tatsache?
Das ist eine weit brauchbarere Information als jeder Wert.
Nicht als Entlastungsbeleg verwenden
Manche legen bei einem Verdacht das Ergebnis des Werkzeugs vor, das den niedrigsten Wert ausgegeben hat. Das bringt fast nichts. Die Gegenseite weiß, dass die Ergebnisse auseinandergehen, und dass mehrere Werkzeuge durchprobiert wurden, kann den Eindruck sogar verschlechtern.
Entkräftet wird ein Verdacht nicht über Werte, sondern über den Entstehungsweg: Entwurf, Versionsverlauf, Quellen. Wie das geht, steht in Fälschlich der KI-Nutzung beschuldigt.
Wenn Sie ein Werkzeug auswählen müssen
Nach Genauigkeit auszuwählen ist schwierig, weil sich diese kaum überprüfen lässt. Praktischer sind diese Kriterien:
- Markiert es Satz für Satz? (Werkzeuge, die nur eine Gesamtzahl liefern, nützen wenig)
- Ist es für Deutsch ausgelegt und nicht nur übersetzt?
- Formuliert es das Ergebnis zurückhaltend? (Vor Werkzeugen, die "Von KI verfasst" behaupten, sollte man sich hüten)
- Legt es offen, was mit dem eingefügten Text geschieht?
Der KI-Detektor markiert Satz für Satz und weist das Ergebnis als KI-Wahrscheinlichkeit zum Nachschlagen aus. Erläuterungen zur Interpretation stehen auch in den FAQ.
Zum Schluss
Kein Werkzeug kann die Urheberschaft bestimmen. Statt sich an Wertunterschieden aufzuhalten, macht die Gewohnheit, die markierten Stellen zu öffnen, den Text tatsächlich besser.
Warum es schadet, den Wert zum Ziel zu machen, steht in Wer nur den Wert senken will, ruiniert seinen Text.