AI Wiki · 詳細ガイド · 学習
学習とRLHF
巨大な事前学習で「言葉の予測器」を作り、指示調整と人間の好みでの微調整を重ねて、有用で無害な「対話するアシスタント」へ仕上げる。
How it works
事前学習から RLHF までの流れ
ステップ 1 / 5
事前学習
膨大なテキストで「次の単語」を当て続ける自己教師あり学習。世界の知識と言語のパターンを吸収した基盤モデルができる。
報酬モデル学習と RL 最適化は一度きりではなく反復されることが多い。整合したモデルで新たな応答を作らせ、また人間が順位づけし、報酬モデルを更新して再最適化する――この人間フィードバックのループが品質を押し上げる。
詳しい解説
三段構え ― 事前学習・SFT・RLHF が担う別々の役割
現代の対話モデルは大きく三段で作られる。まず事前学習で膨大なテキストの「次の単語」を予測させ、知識と言語能力を仕込む。だが素の予測器は「指示に従う」ようには振る舞わないので、次に教師ありファインチューニング(SFT)で「良い応答の見本」を教える。それでも人間が本当に好む微妙な良し悪し(丁寧さ・安全さ・簡潔さ)は例示だけでは伝わりにくく、最後に人間の好みそのものを使う RLHF で仕上げる。各段は別々の問題――知識、指示追従、好みの整合――を解いている。
報酬モデル ― 人間の好みを「採点者」に凝縮する
RLHF の要は報酬モデル。人間に一つひとつの応答を採点させるのは高コストなので、代わりに「同じ質問への複数応答のうちどちらが良いか」という比較データを集める。この比較を再現するようニューラルネットを学習させると、任意の応答にスコアを付けられる「人間の好みの代理採点者」ができる。以降の強化学習は、この報酬モデルの点数を最大化する方向にモデルを押していく。InstructGPT は、この枠組みで学習した13億パラメータのモデルが、素の1750億パラメータ GPT-3 より人間に好まれたと報告している。
PPO と DPO ― 報酬モデルを回すか、丸ごと省くか
古典的な RLHF は、報酬モデルを採点者として PPO(近接方策最適化)という強化学習アルゴリズムで方策を更新する。ただし PPO は複数モデルを同時に扱い、学習が不安定になりやすく手間もかかる。DPO(直接選好最適化)は、報酬モデルと強化学習を経由せず、比較データから直接モデルを最適化する。理論的には「言語モデルそれ自体が秘かに報酬モデルである」という関係を使い、単純な分類損失で選好を学習できる点が革新で、実装が容易で安定するため急速に普及した。
RLAIF と Constitutional AI ― 人間の代わりに AI が採点する
人間の順位づけは高価で規模の限界がある。RLAIF(AI フィードバックからの強化学習)は、その好みラベルを別の高性能モデルに生成させて置き換える手法。Anthropic の Constitutional AI は、明文化した原則(「憲法」)に照らしてモデル自身に自己批判・修正させ、その選好を合成データとして使う。RLHF を置き換えるのではなく、好み収集の段(第2段)を人手から原則ベースの AI 生成へ差し替える点が肝で、スケーラブルに無害性を高められる。近年は、これらに加えて検証可能な報酬による強化学習(数学・コードで正解を機械採点)を重ねる、モジュール式の後段学習が主流になっている。
主要な考え方・要点
事前学習
膨大なテキストで次の単語を予測する自己教師あり学習。世界知識と言語能力を持つ基盤モデルを作る、最も計算量の大きい段。
SFT(教師ありファインチューニング)
「指示→良い応答」の見本で微調整し、素の予測器を指示追従モデルへ変える段。RLHF/DPO の出発点となる方策を用意する。
報酬モデル
人間の比較(どちらの応答が良いか)を再現するよう学習した採点器。任意の応答にスコアを付け、RL の報酬信号になる。
PPO
報酬モデルの点数を最大化する強化学習アルゴリズム。効果は高いが複数モデルを扱い不安定になりやすく、運用に手間がかかる。
DPO / RLAIF・Constitutional AI
DPO は報酬モデル無しで比較データから直接整合(安定・簡便)。RLAIF/Constitutional AI は好みラベルを人手でなく原則ベースの AI 生成に置き換える。
最新の動向
DPO が RLHF の実装難度・コストを下げ、SFT → DPO を基本に、推論力は検証可能報酬による RL(GRPO 等)を重ねるモジュール式後段学習が定着しつつある(arXiv:2502.21321「LLM Post-Training」)。
RLAIF が人手アノテーションの代替として広がり、規模とコストの制約を緩めながら整合を進める手段になっている(APXML「RLAIF」解説)。
検証可能報酬による強化学習(RLVR)が推論モデルの中核になり、DeepSeek-R1 はこれと最終段の RLHF 的整合を組み合わせている(公開技術報告)。
Constitutional AI(原則に基づく自己修正+RLAIF)が、人手に依存しない無害性向上の代表的アプローチとして定着している(Bai et al., 2022, arXiv:2212.08073)。
データ・ベンチマーク
人間の選好(InstructGPT vs GPT-3)
13億パラメータ版が1750億パラメータ GPT-3 より好まれた
InstructGPT は、100分の1のパラメータ数(13億)ながら素の GPT-3(1750億)より人間に好まれたと報告(Ouyang et al., 2022, arXiv:2203.02155)。
DPO の性能と単純さ
報酬モデル+PPO を用いる RLHF と同等以上、かつより安定・簡便
DPO は PPO ベースの RLHF と同等以上の選好整合を、報酬モデルと RL を介さず単純な分類損失で達成したと報告(Rafailov et al., 2023, arXiv:2305.18290)。
※数値は各出典に基づく参考値です。前提により変わります。最新情報は一次情報をご確認ください。