AI Wiki · 詳細ガイド · モデル
大規模言語モデル (LLM)
膨大なテキストで「次の単語」を予測するよう訓練された巨大ニューラルネット。その一点集中の目標から、翻訳・要約・推論といった能力が副産物として立ち上がる。
How it works
プロンプトから応答が生成されるまで
ステップ 1 / 6
トークン化
入力テキストをトークン（部分単語の断片）に分割する。BPE などのアルゴリズムが、頻出する文字列をまとめて有限の語彙に写像する。
「予測→サンプル→追記」を停止トークンや上限長に達するまで繰り返す自己回帰生成。1回の呼び出しで文章全体を書くのではなく、常に「これまでの全文脈から次の1語」を求め続けている。
詳しい解説
次単語予測という、たった1つの目標
LLM の事前学習の目標は驚くほど単純で、「これまでの文脈が与えられたとき、次のトークンを当てる」——ただそれだけ。正解は元のテキスト自身にあるので人手のラベルが要らず（自己教師あり）、インターネット規模のデータで学習できる。ところがこの一点集中の目標をうまく解くには、文法・事実・文体・簡単な推論まで暗黙に身につける必要がある。だから翻訳や要約は「別途教えた機能」ではなく、次単語予測を極めた結果として現れる。
トークンと埋め込み：言葉を幾何に変える
モデルは文字ではなくトークン——「un」「break」「able」のような部分単語の断片——を扱う。BPE などのアルゴリズムが、大きな語彙を扱いつつ未知語も断片の組合せで表せるよう、有限のトークン集合を作る。各トークンは学習された埋め込みベクトルに写され、意味の近いトークンが空間内で近くに集まる。この幾何のおかげで、モデルは「王−男＋女≈女王」のような関係を計算で扱え、記号の羅列だった言葉が連続的な意味空間になる。
文脈窓とサンプリング：見える範囲と選び方
モデルが一度に参照できるトークン数を文脈窓（コンテキストウィンドウ）と呼び、これがプロンプトと生成の合計に効く実効的な作業記憶になる。2026 年時点では数十万〜百万トークン級の窓を持つモデルも登場している。生成時は確率分布から次トークンを選ぶが、常に最尤を取ると単調になりがち。温度は分布の尖り具合を調整し、top-p（核サンプリング）は確率上位が累積 p に達するまでの候補だけから選ぶ。これらのつまみが、堅実さと創造性のバランスを制御する。
スケーリング則と創発的能力
モデルの性能（次単語予測の損失）は、パラメータ数・データ量・計算量に対しておおむね滑らかなべき乗則で改善する——これがスケーリング則。Kaplan らが 2020 年に定式化し、Hoffmann らの Chinchilla（2022）は「モデルを大きくする分だけ学習トークンも増やす」計算最適な配分を示した。興味深いのは、規模がある閾値を超えると多段推論などの能力が急に立ち上がる「創発」が観察される点。ただし何が真に創発かは評価指標に依存するとの批判もあり、現在も議論が続いている。
主要な考え方・要点
パラメータ数
学習される重みの総数。多いほど記憶・表現の容量は増えるが、学習・推論コストと必要データも増える。数十億〜数千億が典型。
文脈窓
一度に参照できるトークン数。プロンプト＋生成の合計上限で、長文の一貫性や長期依存の扱いを左右する実効的な作業記憶。
トークン
モデルが扱う最小単位（部分単語）。課金・速度・窓の消費はすべてトークン数で数える。英語で1トークン≈0.75語が目安。
温度
サンプリングのランダムさ。低いほど無難で決定的、高いほど多様で創造的。0 なら常に最尤トークンを選ぶ。
top-p / top-k
候補の絞り込み方。top-p は累積確率 p まで、top-k は上位 k 個だけを候補に残す。温度と組み合わせて出力の質を整える。
最新の動向
計算最適スケーリング（Chinchilla）以降、単にパラメータを増やすより、データ量とのバランスや高品質データの重視へ軸足が移った。
コンテキスト窓が数十万〜百万トークン級へ拡大し、長文書やコードベース全体を一度に扱う用途が現実的になった。
混合エキスパート（MoE）で総パラメータを増やしつつ推論コストを抑える設計や、推論時に計算を増やす「思考」モデルが台頭。
テキストに加え画像・音声・動画を扱うマルチモーダル LLM が主流化し、ツール呼び出しによるエージェント利用が拡大。
データ・ベンチマーク
性能とスケールの関係
損失はサイズ・データ・計算のべき乗則で改善
Kaplan ら「Scaling Laws for Neural Language Models」(arXiv:2001.08361, 2020)。7桁超のスケールで成立。
計算最適なデータ配分
モデル2倍につき学習トークンも2倍
Hoffmann ら「Training Compute-Optimal LLMs」(Chinchilla, arXiv:2203.15556, 2022)。従来モデルは学習データ不足だったと指摘。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。