핵심 요약
- 탐지기는 길고 수정되지 않은 AI 글에서 가장 정확하고, 짧거나 많이 고친 글에서 가장 부정확합니다.
- 오탐은 실제로 일어납니다. 비원어민의 글과 매우 격식 있는 글이 더 자주 잘못 판정됩니다.
- 점수는 글이 AI 글과 얼마나 닮았는지를 말할 뿐, 누군가 규칙을 어겼을 가능성을 말하지 않습니다.
- 누군가에게 영향을 주는 결정에서 탐지기 점수를 유일한 증거로 쓰지 마세요.
탐지기가 실제로 측정하는 것
탐지기는 누가 글을 썼는지 알지 못합니다. 사람과 AI의 글에서 배운 패턴과 비교할 뿐입니다. 단어 선택이 얼마나 예측 가능한지, 문장이 얼마나 균일한지, 내용이 얼마나 일반적인지를 봅니다. 결과는 글이 AI 출력과 얼마나 닮았는지에 대한 추정치입니다.
그래서 같은 글을 두고 두 탐지기의 판단이 다를 수 있습니다. 학습한 데이터가 다르고, 신호에 주는 가중치가 다르며, ‘AI일 가능성이 높다’는 기준선도 다르기 때문입니다.
탐지기가 잘 작동하는 경우
- 수정하지 않은 챗봇 출력으로 된 여러 문단 이상의 긴 글.
- 내용 없는 블로그 글, 상품 설명, 틀에 박힌 에세이처럼 정보가 적은 일반적인 글.
- 많은 글 가운데 사람이 자세히 볼 글을 고를 때.
탐지기가 틀리는 경우
발표된 연구들은 같은 약점을 반복해서 확인합니다. 다음과 같은 경우 정확도가 크게 떨어집니다.
- 글이 짧을 때(약 150단어 미만).
- AI 초안을 수정했거나, 바꿔 썼거나, 재작성 도구를 거쳤을 때.
- 글쓴이가 비원어민이라 더 단순하고 규칙적인 문장을 쓸 때.
- 실험 보고서, 법률 문서, 자기소개서, 초록처럼 원래 정형화된 장르일 때.
- 사람이 쓴 부분과 AI가 쓴 부분이 섞여 있을 때.
유명한 역사적 문서를 포함해 잘 알려진 사람의 글이 단지 격식 있고 익숙하다는 이유로 AI로 판정된 적도 있습니다. 오탐은 학생이나 지원자에게 큰 피해를 줄 수 있으므로, 입증 책임을 점수에 두어서는 안 됩니다.
점수를 책임감 있게 읽는 법
점수는 검토의 시작으로 보세요. 높은 점수는 ‘더 자세히 보라’는 뜻입니다. 낮은 점수는 ‘뚜렷한 패턴을 찾지 못했다’는 뜻이며, 사람이 썼다는 증거와는 다릅니다.
좋은 도구는 결과를 설명합니다. AI Checker Lab은 각 점수의 근거, 별도의 사람다움 점수, 신뢰도를 보여주므로 결과가 여러 개의 분명한 신호에 기반한 것인지, 약한 신호 하나에 기반한 것인지 알 수 있습니다. 근거가 글에서 보이는 것과 맞지 않으면 직접 읽은 판단을 믿으세요.
- 낮은 점수: AI 같은 패턴이 거의 없습니다. 다른 증거가 없다면 조치할 필요가 없습니다.
- 중간 점수(AI Checker Lab에서는 ‘혼합’으로 표시): 수정된 글이나 격식 있는 글에서 흔합니다. 근거와 맥락을 살펴보세요.
- 높은 점수: AI 글과 매우 닮았습니다. 결정하기 전에 맥락과 이전 글을 확인하고 글쓴이와 이야기하세요.
교사와 고용주를 위한 조언
먼저 명확한 AI 정책을 정해 무엇이 허용되는지 모두가 알게 하세요. 탐지기는 결론을 내리는 데가 아니라 어디를 볼지 정하는 데 쓰세요. 작업 과정을 직접 설명해 달라고 하는 것이 어떤 점수보다 공정하고 믿을 만합니다. 중요한 결정이라면 편집 기록과 구두 설명처럼 서로 독립된 증거를 최소 두 가지 이상 함께 보세요.