«У разных детекторов результаты не совпадают» — какому верить

Вопрос

Прогнал один и тот же текст через три сервиса и получил 12%, 58% и 94%. Разве такое возможно? Какому из них верить?

Короткий ответ

Ни одна из этих цифр не относится к тем, которым «верят» напрямую. И такой разброс — не исключение, а обычное дело.

Почему так расходится

1. У них разные критерии

Каждый инструмент по-своему решает, каким сторонам стиля и какой вес дать. Текст один, акценты разные — отсюда и расхождение. Это не измерение температуры, а скорее оценка «насколько гладко написан текст» по собственной линейке каждого сервиса.

2. Они учились на разных текстах

Инструмент, построенный в основном на английском материале, на русском тексте ведёт себя нестабильно. Падежи, свободный порядок слов, длинные цепочки согласований — всё это не переносится напрямую.

3. Они чувствительны к длине

Чем короче текст, тем больше разброс. Если предложений всего три-четыре, статистику считать не на чем. Поэтому первая и вторая половина одного и того же текста, вставленные по отдельности, дают разные оценки.

4. Результат — не вероятность в привычном смысле

Здесь ошибаются чаще всего. «94%» не означает «с вероятностью 94% это написал ИИ». Это ближе к силе сигнала, и на какую шкалу эту силу положить, каждый сервис решает сам. Эти числа изначально не сопоставимы между собой.

Так на что смотреть

Не пытайтесь усреднять цифры. Смотрите на фрагменты, которые отметили сразу несколько инструментов.

Если все три указали на один и тот же абзац, значит, он действительно читается ровно. Баллы расходятся, но в вопросе «где именно зацепило» инструменты совпадают гораздо чаще.

А дальше откройте этот абзац и спросите:

Есть ли здесь моя мысль или конкретный факт?

Это куда практичнее любой оценки.

Не используйте это как доказательство

Иногда в ответ на подозрение приносят результат того сервиса, который выдал низкий балл. Толку почти нет. Другая сторона тоже знает, что результаты у всех разные, и сам факт прогона через несколько инструментов скорее испортит впечатление.

Объясняются не оценкой, а процессом: черновик, история версий, источники. Подробнее — в тексте вас заподозрили в том, что текст написал ИИ.

Если всё же выбирать инструмент

По точности оценки выбрать трудно — проверить её нечем. Практичнее смотреть на другое.

• размечает ли по предложениям (сервис, который выдаёт только общий балл, малополезен)
• рассчитан ли он на ваш язык
• не формулирует ли результат категорично (инструменты, которые заявляют «написано ИИ», стоит обходить стороной)
• рассказывает ли, что делает с вставленным текстом

Детектор ИИ даёт разметку по предложениям и обозначает результат как ориентировочную вероятность ИИ. Пояснения к чтению результата собраны в разделе FAQ.

Напоследок

Ни один инструмент не устанавливает авторство. Вместо того чтобы переживать из-за разницы в баллах, полезнее завести привычку открывать отмеченные фрагменты — именно она реально улучшает текст.

Почему делать балл целью невыгодно, разобрано в тексте если целью становится снижение вероятности ИИ, текст разваливается.