第7章 AIの仕組みと言葉の処理 1 / 6
明示的な指示がSystem Instruction並みに優先されないのはいつか
質問
「与えられた明示的な指示(制約条件)が、システムの最上位命令(System Instruction)と同等レベルの優先度でアテンション(注意機構)に割り当てられて」いない場合というのはどういう状況の時に起こる?
Gemini の回答
ユーザーの明示的な指示(制約条件)に対してアテンションの割り当てが低下し、実行優先度が下がるのは、主に以下の構造的要因・状況が生じた時です。
1. コンテキストの長大化による埋没(Lost in the Middle)
対話が長くなりトークン数が増加すると、アテンション行列のスコアが分散します。特に指示がコンテキストの中間部分に位置する場合、アテンションの重みが希薄化し、指示が無視されやすくなります。
2. システム指示(System Instruction)やセーフティとの直接的競合
ユーザーの指示が、システム側の根本ルール(安全ポリシー、出力フォーマットの基本制限など)と矛盾・対立した場合です。アーキテクチャ上、System Instruction側やガードレール層の重みが優先されるため、ユーザー指示の処理優先度は打ち消されます。
3. 指示自体の相互矛盾および分散
ユーザーの入力内(または過去のやり取りとの間)で、相反する制約(例:「詳しく解説して」と「100文字以内で」の同時指定など)が存在する場合です。アテンションの重みが複数のトークン間に分散・相殺され、どちらの制約も不十分にしか適用されなくなります。
4. 位置バイアス(Positional Bias)の影響
トランスフォーマーモデルは、コンテキストの最冒頭(System Prompt)および最末尾(直近の入力)にアテンションが集まりやすい性質(Primacy/Recency Bias)を持っています。コンテキストの「中途半端な位置」に書かれた制約指示は、このバイアスによってアテンションの割り当てが相対的に低くなります。