How it works
強化学習のループ(エージェントと環境)
ステップ 1 / 5
状態を観測
エージェントが現在の環境の状態(盤面・センサー値・画面など)を受け取る。ここが意思決定の出発点。
この観測→行動→報酬→更新のサイクルを何百万回も回す。累積報酬(リターン)を最大化する方策へ、経験だけを頼りに少しずつ近づいていく。
詳しい解説
エージェント・環境・報酬・方策(MDP)
強化学習はマルコフ決定過程(MDP)として定式化される。エージェントは状態を見て行動を選び、環境が次の状態と報酬を返す。目的は各行動に付く即時報酬ではなく、割引率でならした将来までの累積報酬(リターン)を最大化することだ。教師あり学習と違って「正解の行動」は与えられず、遅れて疎に来る報酬だけが手掛かりになる — これが功績の割り当て(credit assignment)を難しくする核心である。
探索と活用のジレンマ
エージェントは、今わかっている中で最良の手を打って報酬を稼ぐ(活用)か、まだ試していない手を打って情報を得る(探索)かを常に天秤にかける。探索が足りないと局所最適に閉じ込められ、探索が過ぎると報酬を取りこぼす。ε-グリーディやUCB、エントロピー正則化など、探索を意図的に注入する手法が学習の成否を分ける。実世界では一度の失敗が高くつくため、この綱引きは安全性の問題にもなる。
価値ベースと方策ベース
大きく二系統がある。価値ベース(Q学習・DQN)は「各状態・行動がどれだけ得か」を表す価値関数を学び、そこから最良の行動を導く。方策ベース(方策勾配・PPO)は方策そのものを直接パラメータ化し、報酬が上がる方向へ勾配で押す。両者を合わせたアクター・クリティックが実務の主力で、クリティック(価値)がアクター(方策)の更新を安定させる。連続行動や高次元では方策ベースが、離散で明確な環境では価値ベースが向くことが多い。
囲碁から推論モデルへ — RLHFとRL推論
2016年のAlphaGoは、自己対局による強化学習と探索(モンテカルロ木探索)を組み合わせ、囲碁世界最強級の李世乭に4勝1敗で勝ち、RLの威力を世界に示した。近年は用途が二方向に広がった。一つはRLHF — 人間の選好を報酬モデルに蒸留し、言語モデルを有用で無害な方向へ調整する手法。もう一つは、正解が自動採点できる数学やコードで、正誤を報酬にモデルの「考える過程」を強化する推論学習(DeepSeek-R1など)。報酬設計がそのまま能力の形を決める点は、どの時代も変わらない。
主要な考え方・要点
状態・行動・報酬
問題を定義する三要素。状態は今の状況、行動は選べる手、報酬はその結果への手応え。報酬の設計が、最終的に学習される振る舞いをそのまま決める。
方策(ポリシー)
状態から行動への写像 — エージェントの「戦略」そのもの。決定的な場合も、行動に確率を割り当てる確率的な場合もある。学習の最終成果物。
価値関数
ある状態(や状態・行動)から将来得られる累積報酬の見積もり。遅れて来る報酬を「今の良し悪し」に翻訳し、功績の割り当てを助ける。
探索
未知の行動を意図的に試して情報を得る度合い。ε-グリーディやエントロピー項で制御する。少なすぎれば局所最適、多すぎれば非効率になる。
オンポリシー / オフポリシー
更新に使う経験が、今の方策から得たもの(オンポリシー、例:PPO)か、過去や別方策の経験を再利用するもの(オフポリシー、例:Q学習・DQN)か。効率と安定性が変わる。
最新の動向
検証可能な報酬による強化学習(RLVR)が推論モデルの中核になり、数学・コードなど自動採点できる領域で「考える過程」を鍛える手法が急速に広がった(DeepSeek-R1 など)。
RLHFに加え、人間の代わりにAIが選好を採点するRLAIF(AIフィードバックによる強化学習)が、アライメント工程のスケール手段として実用化が進んでいる。
PPOの計算負荷を避ける DPO(直接選好最適化)など、明示的な報酬モデルを使わずに選好へ合わせる軽量な代替手法が広く採用されている。
エージェントに実タスク(ブラウザ操作・ツール実行)を強化学習で解かせる研究が活発化し、報酬設計と安全性(意図せぬ最適化)の両立が課題として前面に出ている。
データ・ベンチマーク
AlphaGo 対 李世乭(2016)
5番勝負で4勝1敗
DeepMind の AlphaGo が2016年、囲碁のトップ棋士 李世乭に4勝1敗で勝利(Silver ら, 2016, Nature 529:484–489)。深層強化学習と木探索の組み合わせが実力で人間最強級を超えたことを示した。
RLによる推論能力の向上
大規模RLで推論性能が大きく向上(定性的)
DeepSeek-R1(2025)は、教師ありデータに頼らず検証可能な報酬による大規模強化学習だけで、数学・コード等の推論性能を大幅に引き上げられることを報告した(arXiv:2501.12948)。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。