並列処理の弊害は

トランスフォーマーにおける「一括並列処理」がもたらす主な弊害は以下の通りです。

1. メモリ消費量と計算量の爆発（$O(N^2)$問題）

全トークン間の関係性を一度に並列計算するため、文章長（トークン数 $N$）の2乗に比例してアテンション行列が巨大化します。入力が長くなると必要なVRAMが急増します。

2. 順序情報の根本的欠落

全データを一括で処理するため、アーキテクチャ自体は単語の「順番（時系列）」を保持できません。そのため、Positional Encoding（位置情報）を人工的に埋め込む追加処理が不可欠となります。

3. 推論（テキスト生成時）における並列化の限界

学習時は全データを一括で並列処理（Teacher Forcing）できますが、実際の回答生成（推論）時は「直前に生成した単語」に依存して1トークンずつ順番に生成する必要があります。そのため生成時には並列化の強みが活かせず、KVキャッシュ等によるメモリ圧迫と速度低下が発生します。

4. ハードウェア資源（GPU/TPU）への極端な依存

並列演算を実行するために大規模なVRAMと高いメモリ帯域幅を持つ計算資源が必須となり、運用・学習コストが極めて高くつきます。