AIの確信度は信用できない 監視の穴を示す研究

研究・論文

結論から言えば、生成AIが自己申告する「確信度（自信度）」は、誤りを見つける手がかりとしてほとんど機能しません。しかも、モデルの内部を覗くプローブ（内部信号の分類器）が文脈の異常をほぼ確実に検知できていても、それが「最終的に間違った答えを出すか」の予測にはつながらない――そんな結果を示す査読前論文が2026年7月にarXivで公開されました。

社内でRAGチャットボットやAIエージェントを動かし始めた組織にとって、これは監視設計の前提を揺さぶる話です。「AIに自信の度合いを答えさせて、低ければ人間に回す」という運用は、この研究の範囲では成立しませんでした。

この記事でわかること

  • 「知っているのに言わない（Knowing-Saying Gap）」とは何を指すのか
  • 検知の精度と、失敗予測の精度がどれだけ乖離したのか（具体的な数値）
  • 情シスがAI監視・レビュー体制を設計するうえで、何を前提にすべきか
  • 査読前研究としての限界と、どこまで一般化してよいか

どんな研究か

論文は「The Knowing-Saying Gap: When Probes See Errors that Confidence Misses」（Jyotin Goel、Ipshita Bandyopadhyay、Justin Shenk）で、arXivに2026年7月21日に投稿されたプレプリント（arXiv:2608.07528v1）です。査読前の研究であり、結果は今後変わりうる点を最初にお断りしておきます。

研究の問いは単純です。「言語モデルは、自分に与えられた文脈が壊れていることに内部で気づいているのか。気づいているなら、それを外に出せるのか」。

実験設定は次のとおりです。

  • 対象モデル：Qwen2.5-3B-Instruct、Qwen3-4B（通常モードと思考モード）、Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct の5構成。推論（thinking）モデルも含む
  • タスク：2〜4ホップの多段階算術問題。500問をもとにした1,400件の推論トレース
  • 仕込んだ誤り：1のずれ、演算子の取り違え、単位の間違い、桁の間違い、百分率の基準の取り違えの5種類
  • プローブ：各層の内部表現に対して線形ロジスティック回帰を学習。5分割の層化交差検証に加え、誤りタイプを1種類ずつ除外して評価する頑健性チェックも実施

何が新しく分かったのか

プローブは文脈の破損をほぼ確実に見抜く

まず、「文脈に誤りが仕込まれているか」の検知は、ほぼ完璧でした。検知のAUROC（1.0が完璧、0.5が当てずっぽう）は全モデルで0.98を超え、Llama-3.1-8Bでは最高0.997に達しています。モデルの内部には、壊れた前提が入ってきたことを示す信号がはっきり乗っている、ということです。

この点は、間接プロンプトインジェクションの検知でも同様の傾向が報告されています（当サイトのプロンプトインジェクション検知、AI内部信号の研究も参照）。

しかし「最終的に間違えるか」は当てられない

問題はここからです。検知性能が最も高い層のプローブを使っても、最終回答が正しいか誤りかを予測するAUROCは約0.50、つまり偶然水準まで落ち込みました。

直感に反する結果ですが、意味するところは明確です。モデルは「入力がおかしい」ことには気づいている。しかし、そこから先で誤りを自力で吸収して正解にたどり着くこともあれば、そのまま間違えることもある。異常を検知したという事実は、結果が壊れることを意味しないのです。

著者らは事前登録していた「プローブの反応が複数ホップにわたって持続するほど誤答しやすい（persistence beats peak）」という仮説も検証しましたが、これも反証されました。反応が続くかどうかで正誤は分かれなかったのです。

自己申告の確信度は2つの値に潰れる

実務的にいちばん効くのがこの発見です。モデルに0〜10の確信度を構造化フォーマットで答えさせたところ、出力は事実上2つの値に集中し、その両極のあいだで誤答率に区別がつきませんでした。258件のトレースで、迷いを示す出力（ヘッジ）も、明らかな過信も出てこなかったと報告されています。

測ったもの 結果（AUROC） 実務上の読み方
文脈の破損を検知できるか（内部プローブ） 0.98超（最高0.997） 異常入力の検知には使える
最終回答の誤りを予測できるか（内部プローブ） 約0.50 当てずっぽうと変わらない
表層的な不確実さの兆候（言い淀み等） 約0.50 使えない
モデルの自己申告確信度 2値に潰れ差が出ない レビュー振り分けの基準にできない

この「知っているのに言わない」パターンは、推論モデルを含む複数のモデルファミリーで共通して観測されたとされています。特定モデルの癖ではない可能性がある、という点が重要です。

検知できたなら、その場で直せるのか

著者らは、プローブが異常を検知した時点で介入する3つの方法も試しています。結果は、モデルと誤りの種類によって効果が大きく変わるというものでした。

  • branch-and-pick（複数の推論を分岐させて選ぶ）：全モデルで差し引きプラス。Llama-3.1-8Bでは4件を救済し、正しかった推論を1件も壊さなかった
  • reprompt / replace-prior：誤った推論を救う割合と同程度の割合で、正しかった推論を壊した

つまり、雑に「異常を検知したらやり直させる」だけの自動介入は、直した数と壊した数が相殺しかねません。著者らの結論は、モデルと誤りタイプを見たうえでの振り分け（routing）が必要、というものです。

情シスの実務にどうつながるのか

AIの自己申告をガードレールの根拠にしない

「回答の末尾に確信度を出力させ、しきい値未満は人間確認へ」という設計は、社内AI導入の初期案としてよく出てきます。この研究の範囲では、その確信度は誤答と正答を区別しませんでした。安全側に倒したつもりの仕組みが、実際にはほぼ何も選別していない――という状態は、監査上むしろ危険です。「確認プロセスがある」という説明が成り立ってしまうからです。

「異常検知」と「誤答予測」を別物として設計する

この論文がきれいに切り分けたのは、入力の汚染を検知することと、出力の品質を保証することは別のタスクだという点です。RAGのインデックスに不正な文書が混入したことを検知する仕組みは有効に作れる可能性が高い。一方で、それを「回答が正しいことの担保」に読み替えてはいけません。運用設計では、この2つを別のログ・別の指標として扱うべきです。関連して、AIエージェントの隠れた改ざんを構造監視で検知も、検知側の設計を考えるうえで参考になります。

人間のレビューは「AIの自信」ではなく業務リスクで決める

確信度で振り分けられないなら、何で振り分けるか。現実的な答えは、AI側の指標ではなく、業務側のリスク区分です。金額・対外性・不可逆性といった基準で「必ず人が見る処理」を決め打ちするほうが、監査にも説明できます。2026年3月に公表された「AI事業者ガイドライン（第1.2版）」でも、外部に影響を与える操作の前に人間の判断を挟む仕組みが明記されました。ただし、その人間の監督自体が攻撃対象になりうる点はAIの「人間による監督」が攻撃対象にで触れたとおりで、置けば安心という話ではありません。

この研究の限界と留意点

過度な一般化は禁物です。著者ら自身が挙げている限界を含め、次の点は押さえておくべきでしょう。

  • 査読前のプレプリントである。今後の査読・追試で評価が変わる可能性がある
  • タスクが多段階算術に限定されている。文書要約や対話といった実務の主用途にそのまま当てはまるかは未検証
  • 内部表現から読み取れる（decodable）ことは、モデルの生成の仕方を因果的に説明するものではない
  • 誤りタイプ別のサンプルが9〜16件と小さく、細かい傾向は今後の検証待ち
  • 著者らが提案する「誤りタイプに応じた振り分け」には、そのタイプを判定する分類器が必要だが、まだ存在しない
  • 層0〜1で検知精度が跳ね上がる機構は未解明とされている

とくにモデル規模が3B〜8Bクラスである点は割り引いて読む必要があります。より大きな商用モデルで同じ乖離が出るかは、この論文だけでは言えません。

現場目線の所感

正直なところ、この結果は「うすうす感じていたことに数字がついた」という受け止めです。社内で生成AIの回答に確信度を出させる仕組みを試した担当者なら、出てくる数字がやたら高い値ばかりで、しかも間違っているときも同じように高い、という経験があるのではないでしょうか。

厄介なのは、この手の仕組みが「対策済み」の見た目をつくってしまうことです。稟議や社内説明では「AIが自信のない回答は人間が確認します」と書けてしまう。実際には何も選別できていないのに、監査の場では対策として通ってしまう。限られた人員でAI利用のルールづくりまで背負わされている情シスにとって、この種の「効いているように見えて効いていない統制」は、後から効いてくるコストになります。

一方で、検知そのものは高精度だという結果は前向きに読めます。LLMガードレールの限界：安全性トリレンマ論文を読むで見たように、ガードレールには構造的な制約がありますが、「入力が汚染された」というイベントを拾うこと自体は現実的な射程に入りつつあります。出力の正しさを保証する話と混ぜないことが肝心です。

社内ルールづくりで参照したい公的資料

個別の対策チェックリストを自前で積み上げるより、まずは公的な整理を土台にするのが早道です。

あわせて、地道な利用者教育の比重は下がりません。「AIが自信ありげに答えても根拠を確認する」という当たり前を組織に定着させることが、技術的な監視より効く場面は多くあります。

まとめ

  1. 内部プローブは文脈の破損をAUROC 0.98超で検知できたが、最終回答の正誤予測は約0.50（偶然水準）に落ちた。検知できることと、失敗を予測できることは別である。
  2. モデルの自己申告する確信度は2値に潰れ、誤答率で区別がつかなかった。確信度しきい値によるレビュー振り分けは、この範囲では機能しない。
  3. 査読前・算術タスク・3B〜8Bモデルという限定つきの結果である。ただし推論モデルを含む複数ファミリーで再現しており、監視設計の前提を見直すきっかけにはなる。

出典

タイトルとURLをコピーしました