AI 검사기는 얼마나 정확할까?

회사가 자기 제품을 벤치마크하는 것 자체는 불길하지 않습니다. 문제는 그 수치가 독립적으로 확립된 것처럼 징계 절차에서 인용될 때이고, 그것이 현재의 통상입니다.

독립 비교는 대체로 세 가지를 발견합니다. 오탐률이 내세운 것보다 높고, 흔히 한 자릿수 차이입니다. 검사기들끼리 같은 글에 대해 어긋나고, 때로는 극적으로. 그리고 정확도는 짧은 글, 영어 외 언어, 살짝 편집된 글에서 무너집니다.

도구 간 불일치는 검사기 보고서를 받는 사람에게 가장 유용한 발견입니다. 두 계기가 같은 글을 12%와 88%로 매겼다면 어느 숫자도 안정된 무언가의 측정이 아닙니다. 서로 다른 두 헛점보기에 가깝습니다.

검사기는 앞 토큰을 고려할 때 각 토큰이 얼마나 예측 가능한지 추정합니다. 단어가 고도로 예측 가능한 문단은 기계처럼 채점됩니다. 제2언어 글은 구문 폭이 좁고 연결 표현이 관습적이기 쉬워, 측정 가능하게 더 예측 가능하고 그래서 더 걸립니다.

같은 메커니즘이 다른 집단도 붙듭니다. 번역 도구를 거치는 사람, 정해진 구성을 흉내 내는 사람, 딱딱한 틀로 훈련된 사람. 도구는 만들어진 일을 하고 있습니다. 문제는 “예측 가능”과 “기계 생성”이 같은 성질이 아닌데 출력이 둘을 구분하지 않는다는 점입니다.

점수는 출처가 아니라 예측 가능성을 따르므로, 표면을 바꾸면 움직입니다. 모델에게 인간 글의 바꿔 쓰기를 시키면 점수가 오르고, 생성 글을 다시 쓰기에 통과시키면 내려갈 수 있습니다. 자기 글을 다른 문체로 고쳐도 양쪽으로 움직입니다.

그래서 “AI 흔적 청소”는 낮은 점수로 가는 길이 아닙니다. 문장부호 교환은 토큰 예측 가능성을 거의 건드리지 않아서, 긴 대시를 전부 제거해도 판별기 판독은 유의하게 움직이지 않습니다. 검사기 우회로로 “휴머나이저”를 파는 사람은 기술이 받쳐 주지 않는 주장을 파는 것입니다.

1. 점수는 더 자세히 보라는 신호로 취급하지 결론으로 취급하지 마세요. 대부분의 기관 규정이 이미 그렇게 말하며, 그것이 근거의 올바른 독법입니다.
2. 점수를 맥락과 함께 요구하세요. 어떤 도구인지, 어떤 기준값인지, 어떤 길이의 글인지, 이 장르에서 오탐에 대해 공급사가 뭐라 하는지.
3. 사람에게 영향을 주는 판단을 검사기 하나로 내리지 마세요. 오류율이 너무 높고 오류가 고르게 퍼져 있지도 않습니다.
4. 지목당한 쪽이라면 대화를 절차로 옮기세요. AI 글쓰기로 의심받았을 때 대처법.
5. 목표가 진짜로 더 나은 초안이라면, 행동 가능한 개수를 보고하는 패턴 검사기를 쓰세요.