Quão precisos são os detetores de IA?

Não há nada de sinistro numa empresa avaliar o próprio produto. Torna-se um problema quando essas cifras são citadas num processo disciplinar como se estivessem estabelecidas de forma independente, que é a prática corrente.

As comparações independentes tendem a encontrar três coisas. As taxas de falsos positivos superam o prometido, muitas vezes por uma ordem de grandeza. Detetores diferentes desmentem-se sobre o mesmo texto, por vezes de forma espetacular. E a precisão desaba em textos curtos, em línguas que não o inglês e em textos ligeiramente retocados.

O desacordo entre ferramentas é o achado mais útil para quem recebe um relatório de detetor. Se dois instrumentos pontuam o mesmo ensaio a 12% e a 88% de IA, nenhum dos números mede algo estável. Aproxima-se mais de dois palpites diferentes.

Os detetores estimam quão previsível é cada token dado o que veio antes. Uma passagem com palavras muito previsíveis sai como máquina. A escrita em segunda língua usa um repertório mais estreito de construções e conectores mais convencionais, o que a torna mensuravelmente mais previsível e por isso mais assinalável.

O mesmo mecanismo apanha outros grupos: quem escreve com ferramentas de tradução, quem imita uma estrutura imposta e a quem ensinaram uma fórmula rígida. A ferramenta faz o que foi construída para fazer. O problema: «previsível» e «gerado por máquina» não são a mesma propriedade, e o resultado não as distingue.

Como o resultado segue a previsibilidade e não a procedência, move-se quando a superfície muda. Peça a um modelo parafrasear um ensaio humano: o resultado sobe. Passe um ensaio gerado por uma reescrita: pode descer. Revisar o próprio texto para outro registo pode empurrá-lo nos dois sentidos.

É por isso que «limpar os sinais de IA» não é caminho para um resultado baixo. Trocar pontuação mal toca a previsibilidade dos tokens, e por isso remover cada travessão não move a leitura de um detetor de forma significativa. Quem vende um «humanizador» como contorno de detetores vende uma alegação que a técnica não sustenta.

1. Trate o resultado como um convite a olhar mais de perto, nunca como um achado. É o que dizem a maioria das políticas institucionais, e é a leitura correta das evidências.
2. Peça o resultado em contexto: que ferramenta, que limiar, que comprimento de texto, o que diz o fornecedor sobre falsos positivos nesse género.
3. Nunca use um detetor sozinho para uma decisão que afeta uma pessoa. A taxa de erro é alta demais e os erros não se distribuem por igual.
4. Se é a pessoa acusada, leve a conversa para o processo: o que fazer se o acusarem de escrever com IA.
5. Se o objetivo é mesmo um rascunho melhor e não um número menor, use um verificador de padrões que reporte contagens sobre as quais possa agir.