How it works
モデルが例から学ぶまで
ステップ 1 / 6
データ
入力と（多くの場合）正解のペアを大量に集める。教師あり学習ではラベル付き、自己教師あり学習では「次の単語」など入力自身から目標を作る。
予測→損失→勾配→更新を、データ全体に対して何百万回も繰り返す。1回の更新は微小だが、積み重なって重みが意味のあるパターンへ収束していく。
詳しい解説
「学習」とは損失を最小化する最適化である
機械学習モデルは、調整可能な数値（パラメータ、または重み）を持つ関数だと考えられる。学習の目的は、その数値を選んで予測誤差を測る損失関数をできるだけ小さくすること。だから「AIが学ぶ」とは比喩ではなく、文字通り高次元空間で損失という谷底を探す数値最適化を指す。正解に近い出力を出す重みの組み合わせが「学んだ知識」の正体になる。
勾配降下法：どちらへ、どれだけ動かすか
損失をどう下げるかは、各パラメータについての偏微分（勾配）が教えてくれる。勾配は損失が最も急に増える方向なので、その逆向きに進めば損失は下がる。実際にはパラメータを勾配 ×（マイナスの）学習率だけ動かす一歩を繰り返す。学習率が大きすぎると谷を飛び越えて発散し、小さすぎると収束が遅い。この一歩の積み重ねが、ランダムな初期値を有用なモデルへと変えていく。
教師あり・自己教師あり・強化：目標のつくり方の違い
学習の種類は「正解（目標）をどこから得るか」で分かれる。教師あり学習は人間が付けたラベル（この画像は猫）を使う。自己教師あり学習はデータ自身から目標を作る——文の一部を隠して残りから予測させるのが典型で、現代の大規模言語モデルの土台になっている。強化学習は正解ラベルの代わりに行動の良し悪しを表す報酬を使い、試行錯誤で方策を改善する。どれも根っこは「予測と目標のズレを縮める」という同じ原理で動いている。
一般化 対 過学習：丸暗記は学習ではない
真に価値があるのは、訓練で見た例ではなく未知のデータで正しく振る舞うこと——これを一般化と呼ぶ。モデルが強力すぎたりデータが少なすぎると、訓練データの偶然のノイズまで覚え込み、訓練損失は低いのに新しいデータで失敗する。これが過学習。だから訓練に使わない検証データで性能を測り、正則化・早期終了・データ増強といった手段で暗記を抑える。学習の成否は訓練損失ではなく、この汎化性能で判断される。
主要な考え方・要点
データ
学習の原料。量・多様性・品質が上限を決める。偏ったデータは偏ったモデルを生み、分布外の入力には弱くなる。
損失関数（目的関数）
「良さ」を一つの数値に定義する。回帰なら二乗誤差、分類なら交差エントロピーなど。何を最小化するかがモデルの振る舞いを決める。
学習率
1回の更新でパラメータを動かす歩幅。最も影響の大きいハイパーパラメータの一つで、大きすぎれば発散、小さすぎれば収束が遅い。
エポック / バッチ
データ全体を何周するか（エポック）と、1回の更新に使う例のまとまり（ミニバッチ）。周回しすぎると過学習しやすくなる。
一般化ギャップ
訓練損失と検証損失の差。この差が開くほど過学習が進んでいる合図で、正則化などで抑える対象になる。
最新の動向
自己教師あり事前学習が主流に。ラベル無しの大量データから汎用表現を学び、少量のラベルで各タスクへ微調整する流れが定着（Google ML Crash Course も生成AI章を追加）。
人間のフィードバックによる強化学習（RLHF）や選好最適化が、モデルを人間の意図に合わせる標準工程になった。
スケーリング則の精緻化により、データ量とモデルサイズを釣り合わせる「計算最適」な学習配分が重視されている（Chinchilla 系の知見）。
データ中心（data-centric）AI——モデル改良よりデータの品質・網羅・重複除去の改善が精度を押し上げるという実務的合意が広がる。
データ・ベンチマーク
汎化の理論的裏付け
定性的：バイアス-バリアンス分解と正則化で体系化
Goodfellow, Bengio, Courville『Deep Learning』（MIT Press, 2016）第5章「Machine Learning Basics」が一般化と過学習を定式化。
計算最適な学習配分
モデルを2倍にするなら学習トークンも2倍に
Hoffmann ら「Training Compute-Optimal Large Language Models」(Chinchilla, arXiv:2203.15556, 2022)。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。