« Chaque détecteur me donne un résultat différent » — lequel croire ?
Pourquoi le même texte obtient des résultats très différents d'un détecteur d'IA à l'autre, et sur quoi s'appuyer réellement pour décider.
La question
J'ai mis le même texte dans trois outils et j'ai obtenu 12 %, 58 % et 94 %. Un tel écart est-il possible ? Lequel dois-je croire ?
Réponse courte
Aucun des trois n'est un chiffre à « croire » tel quel. Et un écart de cet ordre n'est pas une exception : c'est courant.
Pourquoi un tel écart
1. Les critères ne sont pas les mêmes
Chaque outil pondère différemment les aspects du style qu'il observe. Devant le même texte, les accents diffèrent, donc les résultats se séparent. On n'est pas en train de mesurer une température : c'est plutôt « à quel point ce texte est lisse », noté avec la règle de chacun.
2. Les textes d'entraînement ne sont pas les mêmes
Un outil conçu principalement pour l'anglais devient instable dès qu'on lui donne du français. La longueur des phrases, les connecteurs, la place des subordonnées ne se transposent pas telles quelles d'une langue à l'autre.
3. Tout se joue sur la longueur
Plus le texte est court, plus l'écart grandit. Avec trois ou quatre phrases, il n'y a pas de quoi établir une statistique. C'est pour cela que le début et la fin d'un même texte donnent des scores différents.
4. Le résultat n'est pas une probabilité au sens courant
C'est le malentendu le plus répandu. « 94 % » ne veut pas dire « 94 % de chances que ce soit une IA ». C'est une valeur qui tient plutôt de l'intensité d'un signal, et chaque outil la place sur sa propre graduation. Ces chiffres ne sont pas comparables entre eux, tout simplement.
Alors, que regarder
N'essayez pas de faire une moyenne. Regardez plutôt les passages que plusieurs outils signalent en commun.
Si les trois pointent le même paragraphe, c'est que ce paragraphe se lit effectivement de façon plate. Les scores diffèrent, mais le jugement sur l'emplacement du problème se recoupe souvent.
Ouvrez ensuite ce paragraphe et posez la question :
Est-ce qu'il y a ici mon jugement ou un fait concret ?
C'est une information bien plus utile qu'un score.
Ne vous en servez pas comme pièce justificative
Quand on est mis en cause, on a parfois le réflexe d'apporter le résultat de l'outil le plus clément. Cela n'a presque aucun effet. Votre interlocuteur sait que les résultats se contredisent, et le fait d'avoir fait le tour des détecteurs peut même produire une mauvaise impression.
On se justifie non pas avec un score mais avec un processus : premier jet, historique des versions, sources. La méthode est détaillée dans Accusé d'avoir utilisé l'IA.
S'il faut un critère de choix
Choisir sur la précision du score est difficile, faute de moyen de la vérifier. Mieux vaut regarder ceci.
- Le résultat est-il donné phrase par phrase ? (Un outil qui ne rend qu'un total sert à peu de chose.)
- L'outil dit-il quelque chose de précis sur votre langue ?
- Le résultat est-il formulé sans trancher ? (Méfiez-vous d'un outil qui affirme « écrit par une IA ».)
- L'outil explique-t-il ce qu'il fait du texte que vous collez ?
Le détecteur d'IA propose un relevé phrase par phrase et présente son résultat comme une probabilité IA indicative. Les explications sur la lecture des résultats sont aussi rassemblées dans la FAQ.
Pour finir
Aucun outil n'identifie l'auteur d'un texte. Plutôt que de vous préoccuper des écarts de score, prenez l'habitude d'ouvrir les passages signalés : c'est cela qui améliore réellement un texte.
Pourquoi viser le score vous coûte cher, c'est traité dans Faire baisser le score devient un objectif, et le texte s'effondre.