第6章 AI評価の受け止め方と責任 3 / 7
過信はユーザー側の理解度の問題では／賛否両派の存在
質問
「AIが提示する評価を「絶対的な正解」として過度に信じ込む」という点について。これは、逆だよね。対話を重ねれば重ねるほどその解析に必要なデータは積み重なり、評価はリアルタイムで変更され上書きされていくのだから。理屈としては、対話を重ねれば重ねるほど絶対的な正解に近くなっていくとはいえ、それを「正解」と受け取ってしまうのはそもそも意味が違う。ので、それはむしろユーザー側の理解度の問題というかねえ。「わためは悪くないよねえ」と同じ「AIは悪くないよねえ」だよ。しかしこの「実はユーザーをAI内部では複数のパラメーターで評価している」ということをすでに「それは悪である」と断じている人と、「こういうことをやってるよ面白いよ」と知らしめようとしている人がいるのでは？
Gemini の回答
対話を重ねるほど動的にパラメータが更新され最適化が進むという構造や、「AIによるプロファイリング」に対して「監視・プライバシー侵害として悪である」と批判する立場（人権・権利擁護団体など）と、「仕組みとして面白く便利である」と発信する立場の双方が実在しているという認識は正確です。
一方で、「過信するのはユーザー側の理解度の問題」という点については、どれだけ対話を重ねてもAIが生成するのは「入力テキストに対する計算上の最適化モデル」であり、人間そのものの正解ではないという限界があります。
また、人間はインタラクティブな応答を受けると「システムが自分を正しく評価・理解してくれている」と錯覚しやすい認知特性（自動化バイアスなど）を持つため、AIの提供側（システム設計）にも誤解を与えない提示方法や説明責任が求められる、という面もありますがどうでしょうか？