Każdy detektor pokazuje co innego — któremu wierzyć?
Dlaczego ten sam tekst dostaje zupełnie różne wyniki w różnych narzędziach do wykrywania tekstu AI i na czym w takiej sytuacji oprzeć ocenę.
Pytanie
Wrzuciłem ten sam tekst do trzech narzędzi i dostałem 12%, 58% i 94%. Czy taka różnica jest w ogóle możliwa? Któremu mam wierzyć?
Krótka odpowiedź
Żadna z tych trzech liczb nie jest wartością, którą bierze się wprost na wiarę. A rozrzut tej wielkości to nie wyjątek, tylko codzienność.
Skąd takie różnice
1. Każde narzędzie mierzy po swojemu
Każde z nich inaczej rozkłada wagi między poszczególne aspekty stylu. Ten sam tekst, inne akcenty, inny wynik. To bliżej oceniania własną miarą, na ile tekst jest gładki, niż mierzenia temperatury.
2. Każde uczyło się na innych tekstach
Narzędzie zbudowane głównie na angielszczyźnie, zastosowane do polskiego, daje niestabilne wyniki. Polska fleksja, szyk i długie zdania złożone nie przenoszą się na te reguły jeden do jednego.
3. Długość tekstu ma ogromne znaczenie
Im krótszy tekst, tym większy rozrzut. Przy trzech czy czterech zdaniach nie ma z czego liczyć statystyki. Dlatego osobno wrzucony początek i koniec tego samego tekstu dają różne wyniki.
4. Wynik nie jest prawdopodobieństwem w sensie rachunku prawdopodobieństwa
Najczęściej mylony punkt. "94%" nie znaczy "z prawdopodobieństwem 94% napisała to AI". To wartość bliższa sile sygnału, a każde narzędzie kładzie ją na własnej skali. Tych liczb po prostu nie da się porównywać między sobą.
Na co więc patrzeć
Nie próbuj liczyć średniej. Zamiast tego popatrz na fragmenty, które oznaczyło kilka narzędzi naraz.
Jeśli wszystkie trzy wskazały ten sam akapit, znaczy to, że akapit faktycznie czyta się płasko. Wyniki bywają różne, ale ocena tego, gdzie leży problem, często się pokrywa.
A potem otwórz ten akapit i zapytaj:
Czy jest tu moja ocena albo konkretny fakt?
To informacja o wiele bardziej praktyczna niż liczba.
Nie używaj tego jako dowodu w swojej obronie
Kiedy padnie podejrzenie, ludzie czasem przynoszą wynik z narzędzia, które pokazało najmniej. Prawie nic to nie daje. Druga strona też wie, że wyniki są rozbieżne, a fakt, że tekst przeszedł przez kilka narzędzi, robi raczej złe wrażenie.
Wyjaśnia się procesem, nie wynikiem. Pierwsza wersja, historia zmian, materiały źródłowe. Szczegóły w tekście Podejrzenie o pisanie przez AI.
Jeśli mimo wszystko wybierasz narzędzie
Trudno wybierać po dokładności wyniku — nie ma jak jej sprawdzić. Praktyczniej patrzeć na to:
- czy pokazuje analizę zdanie po zdaniu (narzędzie dające sam wynik ogólny jest mało użyteczne)
- czy uwzględnia język, w którym piszesz
- czy nie formułuje wyniku kategorycznie (przy narzędziu, które twierdzi "napisane przez AI", lepiej zachować ostrożność)
- czy mówi wprost, co robi z wklejonym tekstem
Detektor AI pokazuje analizę zdanie po zdaniu i opisuje wynik jako pomocnicze prawdopodobieństwo AI. Wyjaśnienia dotyczące interpretacji wyniku zebraliśmy też w FAQ.
Na koniec
Żadne narzędzie nie wskaże autora. Zamiast przejmować się różnicami w liczbach, wyrób sobie nawyk otwierania oznaczonych fragmentów — to naprawdę poprawia tekst.
Dlaczego traktowanie wyniku jako celu jest stratą, opisaliśmy w tekście Kiedy celem staje się niski wynik, tekst się psuje.