第7章 AIの仕組みと言葉の処理 4 / 6
人の言葉は不正確、もっともらしい誤答で何が起こるか
質問
人間はそもそも「全員が正しく言葉を理解し、正しく言葉を使える」わけではない。そのため、カスタム指示や入力欄に「矛盾なく、しかも間違いのない言葉を書き込んでいる」と断言はできない。人によっては単語も文章構造もめちゃくちゃなこともあるし、ほとんどは正しいけれどたまに誤解して覚えていたり、方言を方言だと知らずに使っていたり、流行語や自分勝手な短縮語を使っていたりする。そんなユーザーの質問を分析して返答を出す時、いかにも最もらしく聞こえる内容だけど実は（質問がおかしいから答えが）間違っているということが何度でもあり得る。その時、ユーザー側にその内容を正しく読み解く能力が充分ではなかった場合、確認質問をされることはないだろうし、都合のいいように受け取ってしまったり、悲劇や喜劇など何が起こるだろうか？と思ってしまう。
Gemini の回答
入力（単語の誤用・方言・構造の破綻）の不完全性と、AIがそれを前提として「最もらしい文章」を生成する挙動が噛み合った場合、誤った情報の鵜呑みや誤解の増幅が発生するという指摘は、AIの運用上非常に的確な問題提起です。
ユーザー側に検証能力がない場合、具体的に以下のような事態が構造的に起こります。
1. 実害や手続きの失敗（悲劇）
- 誤った判断に基づく行動
: 法律、手続き、医療、技術設定などで、ユーザーが言葉の意味を誤解したまま質問し、AIがその誤った前提に合わせて「正しそうな手順」を生成すると、それをそのまま実行して決定的な失敗や損害が生じます。 - 責任の転嫁と混乱
: 誤った結果が生じた際、「AIがそう言った」として原因が自分の入力の誤りにあることに気づけず、解決不能なトラブルに発展します。
2. 独自の誤解の強化（喜劇）
- 妄想・勘違いの補強（エコーチェンバー現象）
: ユーザーの奇妙な短縮語や独自の解釈に対し、AIが否定せず文脈を合わせて回答を出してしまった結果、「自分の考えは正しかった」と勘違いがますます強固になり、周囲との会話が噛み合わなくなる現象です。
3. AI側の「文脈補正」の限界
現代のLLMは、軽微なタイポや文法の崩れを文脈から確率的に自動修復（Error Recovery）して正しく意図を汲み取る能力を持っています。しかし、「ユーザー自身が間違った概念・前提を正しいと信じて入力している場合」は、AI側でそれを単なる「誤認識」と判定できず、その間違った前提に乗っかった回答を出力せざるを得ません。
結果として、「入力の不備」と「読み解く能力の不足」が組み合わさると、AIの「回答のそれっぽさ」が裏目に出て、ユーザーの誤解を深める増幅器として機能してしまいます。