Quanto sono affidabili i rilevatori di IA?

Che un’azienda faccia da sola il benchmark al proprio prodotto non ha nulla di sinistro. Diventa un problema quando quelle cifre vengono citate in un procedimento come se fossero state stabilite indipendentemente, che è la prassi.

I confronti indipendenti trovano tipicamente tre cose. I tassi di falsi positivi superano il promesso, spesso di un ordine di grandezza. I diversi rilevatori si contraddicono sullo stesso testo, talvolta spettacolarmente. E l’accuratezza crolla sui testi brevi, sulle lingue diverse dall’inglese e sui testi leggermente ritoccati.

La contraddizione tra strumenti è il reperto più utile per chi riceve un rapporto da un rilevatore. Se due strumenti valutano lo stesso elaborato al 12% e all’88% di IA, nessuno dei due numeri misura qualcosa di stabile. Assomiglia più a due indovinazioni diverse.

I rilevatori stimano quanto sia prevedibile ogni token alla luce dei precedenti. Un passaggio con parole altamente prevedibili esce come macchina. La scrittura in seconda lingua usa un repertorio più ristretto di costrutti e connettivi più convenzionali, il che la rende misurabilmente più prevedibile e quindi più segnalabile.

Lo stesso meccanismo aggancia altri gruppi: chi scrive con strumenti di traduzione, chi imita una struttura imposta, chi ha imparato una formula rigida. Lo strumento fa ciò per cui è costruito. Il problema: «prevedibile» e «generato da macchina» non sono la stessa proprietà, e l’output non le distingue.

Poiché il punteggio segue la prevedibilità e non la provenienza, si muove quando cambia la superficie. Chiedi a un modello di parafrasare un tema umano: il punteggio sale. Passa un tema generato per una riscrittura: può scendere. Rivedere il proprio testo verso un altro registro può spostarlo in entrambe le direzioni.

Ecco perché «pulire gli indizi di IA» non è una strada verso un punteggio basso. Cambiare punteggiatura sfiora appena la prevedibilità dei token, ed è per questo che togliere ogni lineetta em non muove un rilevatore in modo significativo. Chi vende un «humanizer» come aggiramento dei rilevatori vende un’affermazione che la tecnica non regge.

1. Tratta il punteggio come un invito a guardare più da vicino, mai come un riscontro. È ciò che dicono la maggior parte dei regolamenti istituzionali, ed è la lettura corretta delle prove.
2. Chiedi il punteggio in contesto: quale strumento, quale soglia, quale lunghezza di testo, cosa dice il produttore sui falsi positivi in quel genere.
3. Non usare mai un rilevatore da solo per una decisione che tocca una persona. Il tasso di errore è troppo alto e gli errori non sono distribuiti in modo uniforme.
4. Sei tu l’accusato, sposta la discussione sul processo: cosa fare se ti accusano di scrivere con l’IA.
5. Se l’obiettivo è davvero una bozza migliore e non un numero più basso, usa un verificatore di pattern che riporti conteggi su cui agire.