«Ogni rilevatore IA mi dà un risultato diverso»: a quale credere?
Perché lo stesso testo passato in più rilevatori IA restituisce punteggi lontanissimi tra loro, e su quale criterio basarsi quando succede.
La domanda
Ho passato lo stesso testo in tre strumenti diversi: 12%, 58% e 94%. È possibile una differenza simile? A quale devo credere?
Risposta breve
Nessuno dei tre è un numero da prendere per buono così com'è. E uno scarto di questa ampiezza non è un'eccezione: è la norma.
Perché i risultati sono così diversi
1. I criteri non coincidono
Ogni strumento decide quanto peso dare a ciascun aspetto dello stile. A parità di testo cambiano gli accenti, quindi cambiano i risultati. Non è come misurare la temperatura: assomiglia di più a dare un voto a "quanto è levigato questo testo", ciascuno con il proprio metro.
2. Sono stati costruiti su testi diversi
Uno strumento tarato quasi solo sull'inglese, applicato all'italiano, dà risultati instabili. L'italiano ha una sintassi, una morfologia verbale e un uso dei connettivi che non si trasferiscono automaticamente.
3. Sono sensibili alla lunghezza
Più il testo è breve, più lo scarto cresce. Con tre o quattro frasi manca la base statistica. È lo stesso motivo per cui incollare prima la metà iniziale e poi quella finale dello stesso testo restituisce punteggi diversi.
4. Il risultato non è una probabilità in senso stretto
È il punto frainteso più spesso. "94%" non significa "94% di probabilità che l'abbia scritto un'IA". È più vicino all'intensità di un segnale, e ogni strumento posiziona quel valore su una scala sua. Non sono numeri confrontabili tra loro in partenza.
Allora cosa si guarda
Non provare a fare una media. Guarda invece i passaggi che più strumenti segnalano in comune.
Se tre strumenti evidenziano lo stesso paragrafo, vuol dire che quel paragrafo si legge davvero piatto. I punteggi divergono, ma su dove sta il problema le valutazioni si sovrappongono spesso.
E su quel paragrafo fatti questa domanda:
Qui c'è un mio giudizio o un fatto concreto?
È un'informazione molto più utile di qualsiasi punteggio.
Non usarli come prova a tua difesa
Quando arriva un sospetto, capita di portare il risultato dello strumento che ha dato il punteggio più basso. Non serve quasi a niente: anche dall'altra parte sanno che i risultati sono discordanti e, semmai, il fatto stesso di aver provato con più strumenti lascia una brutta impressione.
Ci si difende con il percorso, non con un punteggio: prima stesura, cronologia delle versioni, materiale consultato. Il metodo è in Accusato di aver usato l'IA.
Se proprio devi scegliere uno strumento
Sceglierlo in base alla precisione del punteggio è difficile, perché non hai modo di verificarla. Più concreto è guardare questo:
- Ti mostra l'analisi frase per frase (uno strumento che dà solo un totale serve a poco)
- È pensato anche per l'italiano, non solo adattato dall'inglese
- Non presenta i risultati come sentenze (diffida di chi afferma "scritto dall'IA" senza esitazioni)
- Dichiara come tratta il testo che incolli
Il rilevatore IA fornisce l'analisi frase per frase e presenta il risultato come probabilità IA di riferimento. Le spiegazioni su come leggere il risultato sono raccolte anche nelle FAQ.
Un'ultima cosa
Nessuno strumento è in grado di identificare chi ha scritto un testo. Invece di preoccuparti degli scarti tra i punteggi, prendi l'abitudine di aprire i passaggi evidenziati: è quello che migliora davvero il testo.
Perché prendere il punteggio come obiettivo ti fa perdere è spiegato in Se l'obiettivo diventa abbassare la probabilità IA, il testo peggiora.