How it works
1つの信号がネットワークを通り、学習されるまで
ステップ 1 / 6
入力層
画像の画素値や単語ベクトルなど、データを数値のベクトルとして受け取る。各数値が1つの入力ニューロンに対応する。
順伝播（予測）→損失→逆伝播（勾配）→重み更新のサイクルを、多数のバッチと何エポックも繰り返すことで、ネットワークは徐々に有用な特徴表現を獲得する。
詳しい解説
パーセプトロン：ニューロン1個の数学
人工ニューロンの基本形は驚くほど単純で、入力に重みを掛けて足し、バイアスを加え、その結果を活性化関数に通すだけ。式で書けば output = f(Σ wᵢxᵢ + b)。重み w は各入力の重要度、バイアス b は発火のしきい値を調整する。1957 年の Rosenblatt のパーセプトロンはこの1ユニットだった。ただし単層では直線でしか分離できず、XOR のような問題を解けない——この限界が多層化への動機になった。
活性化関数が非線形性を与える
層を重ねても、各ユニットが線形（掛けて足すだけ）なら全体はやはり1つの線形変換にすぎず、深さの意味がなくなる。そこで各ユニットの出力に非線形関数を挟む。現代で最も一般的な ReLU は max(0, x) というだけの関数で、負を0にする。これで負の勾配消失を避けつつ計算も軽く、深いネットワークの学習を実用的にした。非線形性こそが、ネットワークに曲がった複雑な決定境界を描かせる源泉である。
誤差逆伝播：勾配を効率よく配る
巨大なネットワークの各重みについて「損失をどう動かすか」を個別に計算するのは、素朴にやると絶望的に重い。バックプロパゲーションは微分の連鎖律を使い、出力側で計算した誤差信号を層をさかのぼって伝えることで、全重みの勾配を1回の逆向き走査でまとめて求める。ある層の勾配は、次の層から流れてきた勾配とその層のローカルな微分の積で決まる。1986 年の Rumelhart・Hinton・Williams の論文がこれを広め、深層学習復興の技術的土台になった。
万能近似定理と「深さ」の効き目
理論上、十分に多くのユニットを持つ1つの隠れ層があれば、連続関数をいくらでも精密に近似できる（万能近似定理）。しかしこれは「表現できる」ことを保証するだけで、「効率よく学習できる」とは言っていない。実務では層を深くする方が、同じ表現力を桁違いに少ないユニットで実現でき、特徴を段階的に組み上げられる。だから現代のモデルは幅より深さを取る——低次の特徴から高次の概念へと合成していく構造が、画像・言語のような階層的なデータと相性がよいからである。
主要な考え方・要点
重みとバイアス
学習される数値そのもの。重みは入力の重要度、バイアスは発火しやすさを調整する。ネットワークの「知識」はこの膨大な数値の中に符号化される。
活性化関数
非線形性を与える関数。ReLU が標準だが、出力層では確率化のため softmax、二値なら sigmoid を使う。選択が学習の安定性を左右する。
層数と幅（アーキテクチャ）
何層積むか、各層に何ユニット置くか。深いほど抽象化が進むが、勾配消失や過学習のリスクも増え、正規化などの工夫が要る。
損失関数
出力の誤りを測る基準。分類は交差エントロピー、回帰は二乗誤差が典型。逆伝播はこの損失の勾配を配る。
オプティマイザ
勾配をどう重み更新に変換するか。単純な勾配降下に加え、Adam のように過去の勾配を使って歩幅を適応させる手法が主流。
最新の動向
残差接続（ResNet）と正規化層が、非常に深いネットワークの安定学習を可能にし、現代アーキテクチャの標準部品になった。
特定用途の畳み込み・再帰ネットに代わり、Transformer が視覚・音声・言語を横断する汎用バックボーンとして広く採用されている。
スパース化・量子化・蒸留といった圧縮技術で、大規模ネットをモバイルや組み込み機器で動かす研究が加速。
データ・ベンチマーク
誤差逆伝播の原典
多層ネットの学習法として1986年に確立
Rumelhart, Hinton & Williams「Learning representations by back-propagating errors」Nature 323, 533–536 (1986)。
表現能力の理論
定性的：1隠れ層で任意の連続関数を近似可能
万能近似定理。Goodfellow ら『Deep Learning』(MIT Press, 2016) 第6章で概説。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。