AI Wiki · 詳細ガイド · モデル
Transformerと注意機構
各単語が文中の他の単語を直接「参照」できる自己注意機構。逐次処理を捨てて並列化を可能にし、現代の大規模AIすべての土台になった。
How it works
自己注意が文脈を混ぜ合わせる仕組み
ステップ 1 / 6
入力＋位置
各トークンの埋め込みに位置エンコーディングを足す。注意は順序を持たないので、位置情報を明示的に注入して語順を伝える。
1つの Transformer ブロック（自己注意＋フィードフォワード＋残差・正規化）を何十層も積み重ねる。層を重ねるごとに、より広く抽象的な文脈依存関係が表現に織り込まれていく。
詳しい解説
自己注意が計算していること：Q・K・V
自己注意の核心は「各トークンが、他のどのトークンをどれだけ参照すべきか」を学習で決めること。各トークンから、学習された3つの重み行列でクエリ(Q)・キー(K)・バリュー(V)という3つのベクトルを作る。あるトークンのQを全トークンのKと内積すれば、それぞれとの関連度スコアが得られる。このスコアを softmax で合計1の重みに変え、その重みで全トークンのVを加重平均する。結果として各トークンの新しい表現は、文中の関連する語の情報を自分の中に取り込んだものになる。式で書けば Attention(Q,K,V)=softmax(QKᵀ/√dₖ)V である。
なぜ softmax と √dₖ のスケーリングなのか
内積スコアをそのまま重みに使うことはできない。負にも大きな正にもなり、合計も1にならないからだ。softmax は任意の実数の並びを、非負で合計1の確率分布へ滑らかに変換する——つまり「注目度の割り振り」に自然な形を与える。さらに次元 dₖ が大きいと内積の分散が膨らみ、softmax が極端に尖って勾配がほぼ消えてしまう。そこで √dₖ で割ってスコアの大きさを抑え、学習を安定させる。これが「スケール付きドット積アテンション」と呼ばれる理由である。
マルチヘッドと位置エンコーディング
1つの注意だけでは、モデルは一種類の関係しか同時に捉えにくい。マルチヘッド注意は Q・K・V を複数の部分空間へ射影し、並行して複数の注意を計算してから結合する。あるヘッドは文法的な係り受けを、別のヘッドは共参照を、というように役割を分担できる。また注意そのものは集合演算で語順を区別しないため、位置エンコーディング（正弦波や学習ベクトル）を埋め込みに加えて順序情報を注入する。この2つがそろって初めて、Transformer は「意味」と「並び」の両方を扱える。
残差・正規化・並列化が「深さと速さ」を生む
各サブ層（注意とフィードフォワード）は残差接続で入力を出力に足し戻し、層正規化を挟む。これにより勾配が深い層まで素直に流れ、何十層も安定して積める。設計上さらに重要なのは、RNN と違い自己注意は系列内の全位置を同時に計算できる点だ。逐次依存がないので GPU 上で完全に並列化でき、はるかに大きなモデルとデータで学習できる。「Attention Is All You Need」(Vaswani ら 2017) が示したこの並列性こそ、その後のスケーリング爆発を可能にした本質的な要因である。
主要な考え方・要点
自己注意（Q・K・V）
クエリ・キー・バリューの内積と softmax で、各トークンが文脈を取り込む中核機構。全トークン対全トークンの関連度を一括計算する。
ヘッド数
並行して走らせる注意の本数。ヘッドごとに異なる関係（係り受け・共参照など）を捉えられる。総次元をヘッド数で分割する。
位置エンコーディング
順序を持たない注意に語順を伝える仕組み。元論文の正弦波方式のほか、学習型や相対位置(RoPE など)が広く使われる。
層数と残差
積み重ねる Transformer ブロックの数。残差接続と層正規化が深い学習を安定させ、層が増えるほど抽象的な文脈を扱える。
フィードフォワード次元
各ブロック内の全結合層の幅。注意で混ぜた情報をトークンごとに非線形変換する容量を決め、モデルの表現力に効く。
最新の動向
長い系列で注意の計算量(系列長の二乗)を抑える FlashAttention や線形近似・スパース注意が、長文脈モデルを支える基盤技術になった。
相対位置・回転位置埋め込み(RoPE)が固定正弦波に取って代わり、外挿性の高い長文脈対応を可能にしている。
元来デコーダ・エンコーダ構成だった Transformer は、生成用途では GPT 系のデコーダのみ構成が事実上の標準になった。
画像(ViT)・音声・動画・タンパク質など、言語以外の領域へ Transformer が横展開し、汎用アーキテクチャの地位を確立。
データ・ベンチマーク
アーキテクチャの起源
再帰・畳み込みを排し注意のみで構成(2017)
Vaswani ら「Attention Is All You Need」(arXiv:1706.03762, 2017)。翻訳品質(BLEU)で当時の最良を更新しつつ学習を大幅高速化。
計算の性質
定性的：系列を全位置同時・並列に処理
同論文が示した、RNN の逐次依存を排した並列性が大規模化を可能にした（Jay Alammar「The Illustrated Transformer」が図解）。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。