AI検出器の精度はどのくらい？

自社製品を自社で測ること自体は不穏ではありません。問題になるのは、その数字が独立に確立されたかのように審査手続で引用されるときです。それが今の通例です。

独立系の比較は概ね三つのことを見つけます。誤検出率は宣伝より高く、しばしば一桁違います。検出器同士が同じテキストについて食い違い、ときに劇的です。そして精度は短文、英語以外、軽い編集を施したテキストで崩れます。

ツール間の食い違いは、検出器の報告を受け取る人にとって最も有用な知見です。二つの計器が同じレポートを12%と88%に分けたなら、どちらの数字も安定した何かの測定ではありません。むしろ二つの別々の当てずっぽうです。

検出器は、先行トークンを与えたときの各トークンの予測可能性を推定します。語が高度に予測可能な文章は機械のように採点されます。第二言語の文章は構文の幅が狭く、接続表現が定型的になりがちで、*測定可能な形で*より予測可能、つまり引っかかりやすくなります。

同じ仕組みは他の集団も捉えます。翻訳ツールを使う書き手、決められた構成をなぞる書き手、硬い型を仕込まれた書き手。道具は作られた通りの働きをしています。問題は、「予測可能」と「機械生成」が同じ性質ではないのに、出力がその二つを区別しないことです。

スコアは出所ではなく予測可能性を追うので、表面を変えると動きます。人間のレポートの言い換えをモデルに頼めばスコアは上がり、生成レポートを書き直しに通せば下がることがあります。自分の文章を別の文体へ編集しても、どちらにも動きます。

だから「AI痕跡の清掃」は低スコアへの道ではありません。句読点の交換はトークンの予測可能性をほとんど動かさず、だからエムダッシュを全部取っても検出器の読みは有意には動きません。検出器回避として「humanizer」を売る人は、技術が支えられない主張を売っています。

1. スコアは「もっとよく見るきっかけ」として扱い、決して結論として扱わない。多くの機関の規約がすでにそう定めており、それがエビデンスの正しい読み方です。
2. スコアを文脈ごと受け取ります。どのツールか、どの閾値か、どんな長さのテキストか、この種の文章での誤検出についてベンダーは何と言っているか。
3. 人に影響する判断を、検出器だけで下さない。誤りの率が高すぎるうえ、誤りは均等に散らばっていません。
4. 指摘された側なら、話を手続へ移します。AI執筆を疑われたらどうするか。
5. 目的が本当に低い数字ではなく良い下書きなら、行動できる件数を報告するパターンチェッカーを使います。