重點摘要
- 偵測工具對冗長、未經修改的 AI 文字最準，對短文或大幅修改的文字最不準。
- 誤判確實存在。非母語者的文字和非常正式的文字更常被標記。
- 分數表示文字有多像 AI 寫的，而不是有人違規的可能性。
- 在會影響他人的決定中，絕不要把偵測分數當成唯一證據。
偵測工具實際在測量什麼
偵測工具並不知道是誰寫了這段文字。它只是把文字與從人類及 AI 文字中學到的模式比較：用詞有多容易預測、句子有多一致、內容有多籠統。結果是對「文字有多像 AI 輸出」的估計。
因此兩個偵測工具對同一段文字可能有不同結論。它們用不同的資料訓練、對訊號的權重不同，判定「可能是 AI」的門檻也不同。
偵測工具表現好的情況
- 未經修改的聊天機器人輸出，而且有好幾段以上的長篇文字。
- 資訊量低的籠統文字，例如湊字數的部落格文章、商品描述和套公式的作文。
- 從大量文字中篩選出值得人工細看的部分。
偵測工具失準的情況
已發表的研究一再發現相同的弱點。以下情況準確度會大幅下降：
- 文字很短，少於約 150 字詞。
- AI 草稿經過修改、改寫，或用改寫工具處理過。
- 作者不是母語者，句子較簡單、較規律。
- 文體本身就很制式：實驗報告、法律文件、求職信、摘要。
- 文字混合了人寫和 AI 寫的部分。
包括著名歷史文件在內，一些廣為人知的人類作品，只因為正式又常見就被判定為 AI。誤判可能嚴重傷害學生或求職者，所以絕不能把舉證責任放在分數上。
如何負責任地解讀分數
把分數當成檢查的起點。高分的意思是：再仔細看看。低分的意思是：沒有找到明顯的模式，這並不等於證明是人寫的。
好的工具會說明結果。AI Checker Lab 會顯示每個分數的理由、另一個「像人類」分數，以及可信度，讓你看出結果是基於多個明確訊號，還是只基於一個薄弱訊號。如果理由和你在文字中看到的不符，請相信自己的判讀。
- 低分：幾乎沒有 AI 式的模式。若無其他證據，不需要採取行動。
- 中間分數（AI Checker Lab 顯示為「混合」）：在修改過或正式的文字中很常見。請查看理由與情境。
- 高分：與 AI 文字非常相似。做決定前先確認情境和過去的作品，並與作者談談。
給老師與雇主的建議
先訂出清楚的 AI 使用規範，讓每個人都知道什麼是允許的。用偵測工具來決定要看哪裡，而不是決定結論。請對方說明自己的作品，比任何分數都更公平、更可靠。若決定影響重大，至少結合兩種彼此獨立的證據，例如編輯紀錄和口頭說明。