ゼロショット推論の崖──AIが「知らない」と言えない理由
この記事の要点 LLMは学習データに存在しないトピックについても自信を持って回答する「ハルシネーション」を起こす ゼロショット推論は汎化能力の証拠だが、知識の限界を認識できないリスクを伴う 不確実性の定量化とRefusal（拒否）能力の向上が研究の焦点になっている 知らないことを知らない問題 ゼロショット推論──事前に例示なしに新しいタスクを遂行する能力──は、大規模言語モデルの最も印象的な特徴の一つである。しかし、この能力には危険な副作用がある。モデルは自身の知識の境界を認識できず、学習データに含まれない情報についても「もっともらしい」回答を生成する。 Kadavath et al.（2022, “Language Models (Mostly) Know What They Know”, Anthropic Research）の研究は、LLMに「自身の回答の正確性」を評価させる実験を行った。結果として、モデルの自己評価は「ある程度」信頼できるが、特にエッジケース（学習データのカバレッジが薄い領域）では過度に楽観的な自己評価を下す傾向があることが示された。 ハルシネーションの構造 なぜLLMは「知らない」と回答できないのか。技術的な観点からは、現行のLLMアーキテクチャが「次のトークンの予測」を最適化するように設計されているためである。モデルにとって「知らない」は有効な出力パターンだが、訓練データにおいてこの応答パターンの出現頻度が低いため、他の応答に比べて選択されにくい。 ただし、RLHFやConstitutional AIによるポスト訓練の段階で「不確実な場合は回答を控える」という行動を強化することは可能であり、近年のモデル（GPT-4 Turbo、Claude 3.5 Sonnet）では「この質問については十分な情報がありません」という応答が以前のバージョンに比べて増加している。 実務的な影響 もっとも、Refusal（拒否）能力の強化は別の問題を引き起こす。過度に慎重なモデルは「答えられるはずの質問にも答えない」という問題を抱え、ユーザビリティが低下する。有用性と正確性の間のトレードオフは、AI研究の根本的な課題であり、ゼロショット推論の「崖」はその最も鮮明な表出である。 知識境界の推定手法 モデルが自身の知識の限界を認識できないという問題に対し、研究者たちは複数のアプローチを模索している。一つは、モデルに回答の確信度を明示的に出力させる手法である。もう一つは、複数回のサンプリングで回答が一貫しているかを調べる「自己整合性」の検証だ。回答がばらつく場合、モデルはその領域に確信を持っていない可能性が高い。 ただし、これらの手法にも限界がある。モデルは誤った知識について「一貫して」自信を持つことがあり、その場合、自己整合性のチェックをすり抜けてしまう。ハルシネーションのなかでも特に厄介なのは、こうした「自信に満ちた誤り」である。表面的な確信度は、必ずしも正確性の指標とはならない。…
