"Cada detector me da un resultado distinto": ¿a cuál hago caso?
Por qué el mismo texto puede dar cifras muy distintas en varios detectores de IA y qué criterio usar entonces para decidir.
La pregunta
He pasado el mismo texto por tres sitios y me han salido 12 %, 58 % y 94 %. ¿Puede haber tanta diferencia? ¿A cuál hago caso?
Respuesta corta
Ninguna de las tres es una cifra para "creérsela" tal cual. Y una diferencia así no es la excepción: es lo habitual.
Por qué salen tan distintas
1. Cada uno mide con su propia vara
Cada herramienta decide cuánto peso dar a cada aspecto del estilo. Aunque miren el mismo texto, los énfasis son distintos y los resultados se separan. No es como medir la temperatura: se parece más a puntuar "lo pulido que está este texto" con el criterio de cada casa.
2. No han aprendido con los mismos textos
Una herramienta construida pensando en el inglés aplicada al español da resultados inestables. La longitud media de la frase, el uso de subordinadas o la libertad del orden de palabras cambian, y esas señales no se trasladan sin más.
3. Son muy sensibles a la extensión
Cuanto más corto es el texto, mayor es la dispersión. Con tres o cuatro frases no hay base para calcular nada. Por eso pegar la primera mitad y la segunda mitad del mismo texto por separado da cifras diferentes.
4. El resultado no es una probabilidad
Es el punto que más se malinterpreta. Un "94 %" no significa "hay un 94 % de probabilidad de que lo escribiera una IA". Se parece más a la intensidad de una señal, y cada herramienta la coloca en su propia escala. De partida, no son números comparables entre sí.
Entonces, ¿qué se mira?
No intentes hacer la media. Mira los fragmentos que varias herramientas marcan en común.
Si las tres señalan el mismo párrafo, ese párrafo se lee plano de verdad. Las cifras difieren, pero el criterio sobre dónde chirría suele coincidir bastante.
Y después abre ese párrafo y pregúntate esto:
¿Hay aquí algún juicio mío o algún dato concreto?
Esa información es mucho más útil que cualquier puntuación.
No los uses como prueba para defenderte
Cuando alguien sospecha, es común llevar el resultado de la herramienta que dio la cifra más baja. No suele servir de nada. La otra parte sabe que los resultados van cada uno por su lado y, encima, el hecho de haber probado varias puede dejar mala impresión.
Uno se defiende con el proceso, no con una cifra: borradores, historial de versiones, material consultado. El método está en me acusaron de usar IA.
Si hace falta un criterio para elegir herramienta
Elegir por precisión es difícil, porque no hay forma de verificarla. Es más práctico fijarse en esto:
- ¿Marca frase por frase? (Una herramienta que solo da un total sirve de poco)
- ¿Está pensada para el idioma en el que escribes?
- ¿Evita expresar el resultado como un veredicto? (Desconfía de la que afirma "escrito por IA" sin matices)
- ¿Explica qué hace con el texto que pegas?
El detector de IA marca frase por frase y presenta el resultado como una probabilidad de IA orientativa. Cómo interpretarlo está también en las preguntas frecuentes.
Para terminar
Ninguna herramienta identifica a quien escribió un texto. Más que preocuparte por la diferencia entre cifras, la costumbre de abrir los fragmentos marcados es lo que de verdad mejora lo que escribes.
Por qué sale caro poner la cifra como objetivo lo vimos en si tu objetivo es bajar la probabilidad de IA, el texto se estropea.