À quel point les détecteurs d’IA sont-ils fiables ?

Qu’une entreprise évalue son propre produit n’a rien de sinistre. Cela devient un problème quand ces chiffres sont cités dans une procédure disciplinaire comme s’ils étaient établis de façon indépendante — ce qui est la norme.

Les comparaisons indépendantes aboutissent typiquement à trois constats. Les taux de faux positifs dépassent le promu, souvent d’un ordre de grandeur. Les détecteurs se contredisent sur le même texte, parfois spectaculairement. Et la précision s’effondre sur les textes courts, les autres langues et les textes légèrement retouchés.

La contradiction entre outils est le constat le plus utile pour qui reçoit un rapport de détecteur. Si deux instruments notent la même copie à 12% et 88% d’IA, aucun des deux chiffres ne mesure quoi que ce soit de stable. C’est plus proche de deux devinettes différentes.

Les détecteurs estiment la prévisibilité de chaque token étant donné ceux qui précèdent. Un passage aux mots hautement prévisibles ressort comme machine. L’écriture en langue seconde mobilise un éventail plus étroit de constructions et des connecteurs plus conventionnels, ce qui la rend mesurablement plus prévisible, donc plus marquable.

Le même mécanisme attrape d’autres groupes : ceux qui passent par des outils de traduction, ceux qui imitent une structure imposée, ceux à qui l’on a enseigné une formule rigide. L’outil fait ce pour quoi il a été construit. Le problème : « prévisible » et « généré par machine » ne sont pas la même propriété, et la sortie ne les distingue pas.

Puisque le score suit la prévisibilité et non la provenance, il bouge quand la surface change. Demandez à un modèle de reformuler un texte humain : le score monte. Passez un texte généré dans une réécriture : il peut descendre. Réécrire son propre texte vers un autre registre peut le pousser dans les deux sens.

Voilà pourquoi « nettoyer les indices d’IA » n’est pas une route vers un score bas. Changer la ponctuation touche à peine la prévisibilité des tokens, et c’est pourquoi retirer chaque tiret cadratin ne déplace pas un score de façon significative. Qui vend un « humanizer » comme contournement de détecteur vend une affirmation que la technique ne soutient pas.

1. Traitez le score comme une incitation à regarder de plus près, jamais comme un constat. C’est ce que disent la plupart des politiques institutionnelles, et c’est la lecture correcte des preuves.
2. Demandez le score en contexte : quel outil, quel seuil, quelle longueur de texte, que dit l’éditeur des faux positifs dans ce genre.
3. N’utilisez jamais un détecteur seul pour une décision qui touche une personne. Le taux d’erreur est trop élevé et les erreurs sont mal réparties.
4. Si vous êtes la personne accusée, déplacez la discussion vers le processus : que faire si l’on vous accuse d’écrire avec l’IA.
5. Si votre but est vraiment un meilleur brouillon plutôt qu’un chiffre plus bas, prenez un vérificateur de motifs qui rapporte des comptages sur lesquels agir.