トランスフォーマーモデルとは

トランスフォーマー（Transformer）は、2017年にGoogleの研究チームが発表したニューラルネットワークのアーキテクチャで、現在のLLM（GeminiやGPTなど）の基盤となっている構造です。

それ以前の主流だったRNN（再帰型ニューラルネットワーク）に対する主な革新点は、以下の2点です。

1. Self-Attention（自己注意機構）

文章内の全トークン間の関連性を同時に計算する仕組みです。文中で離れた場所にある単語同士の文脈的な繋がり（例：文頭の代名詞が後半のどの名詞を指しているか）を、距離に関係なく正確に把握できます。

2. 処理の完全並列化

RNNのようにテキストを先頭から1単語ずつ順番に処理するのではなく、入力全データを一括で並列計算します。これにより計算効率が劇的に向上し、超大規模データセットでの学習が可能になりました。

主な補足要素

• Positional Encoding（位置エンコーディング）
  : 一括処理によって失われる「単語の順番・位置情報」をデータに直接算入・補完する技術。
• Multi-Head Attention
  : 意味的な繋がりや文法構造など、複数の異なる視点（アテンション）を同時に並行計算する構造。

「逐次処理から並列処理へ」「文脈把握をSelf-Attentionへ一元化」したことで、大規模な言語モデルの構築を可能にした標準アーキテクチャです。