要点
- 検出ツールは、長く手を加えていないAIの文章で最も正確で、短い文章や大きく修正した文章で最も不正確です。
- 誤判定は実際に起こります。非ネイティブの書き手や非常に堅い文章はより多く誤判定されます。
- スコアが示すのは文章がAIの文章にどれだけ似ているかであり、誰かがルールを破った可能性ではありません。
- 人に影響を与える判断で、検出スコアを唯一の証拠にしてはいけません。
検出ツールが実際に測っているもの
検出ツールは誰が文章を書いたかを知りません。人間とAIの文章から学んだパターンと比べているだけです。語の選び方がどれだけ予測しやすいか、文がどれだけ均一か、内容がどれだけ一般的かを見ます。結果は、文章がAIの出力にどれだけ似ているかの推定値です。
そのため、同じ文章でも二つの検出ツールの判断が分かれることがあります。学習したデータも、サインの重みづけも、「AIの可能性が高い」とする基準線も違うからです。
検出ツールがうまく働く場面
- 手を加えていないチャットボットの出力で、数段落以上ある長い文章。
- 中身の薄いブログ記事、商品説明、型どおりのレポートなど、情報量の少ない一般的な文章。
- 多くの文章の中から、人がしっかり確認すべきものを選ぶとき。
検出ツールが間違える場面
公表された研究は、同じ弱点を繰り返し指摘しています。次のような場合、精度は大きく下がります。
- 文章が短いとき（約150語未満）。
- AIの下書きを編集した、言い換えた、書き換えツールにかけたとき。
- 書き手が非ネイティブで、シンプルで規則的な文を使うとき。
- 実験レポート、法律文書、カバーレター、要旨など、もともと型の決まったジャンルのとき。
- 人間が書いた部分とAIが書いた部分が混ざっているとき。
有名な歴史的文書を含む、よく知られた人間の文章が、堅くて見慣れているというだけでAIと判定されたこともあります。誤判定は学生や応募者に深刻な不利益を与えかねないため、立証の責任をスコアに負わせてはいけません。
スコアを責任を持って読むには
スコアは確認の出発点と考えてください。高いスコアは「詳しく見よう」という意味です。低いスコアは「目立つパターンが見つからなかった」という意味で、人間が書いた証拠とは違います。
よいツールは結果を説明します。AI Checker Labは、各スコアの根拠、別の人間らしさスコア、信頼度を表示するので、結果がいくつもの明確なサインに基づくのか、弱いサイン一つに基づくのかがわかります。根拠が文章から読み取れることと合わないなら、自分の読みを信じてください。
- 低いスコア：AIらしいパターンはほとんどありません。ほかに証拠がなければ対応は不要です。
- 中間のスコア（AI Checker Labでは「混在」と表示）：編集された文章や堅い文章によくあります。根拠と文脈を確認しましょう。
- 高いスコア：AIの文章によく似ています。判断の前に文脈と過去の文章を確認し、書き手と話しましょう。
教師と雇用主へのアドバイス
まず明確なAIポリシーを決め、何が許されるかを全員が知っている状態にしましょう。検出ツールは結論を出すためではなく、どこを見るかを決めるために使います。作業の過程を説明してもらうほうが、どんなスコアよりも公平で確実です。重要な判断では、編集履歴と口頭での説明のように、独立した証拠を少なくとも二つ組み合わせましょう。