PPOとは

LLMの学習と調整

Proximal Policy Optimizationの略。報酬を高める方向へ行動の選び方を学習する際に、一度の更新で変化が大きくなりすぎることを抑える強化学習手法です。LLMのRLHFでも利用されてきました。

実務で確認すること

言語モデルでは、生成した回答の報酬などを使って、トークンを選ぶ確率を調整します。技術資料を読む際は、報酬の定義、更新の大きさを抑える設定、学習中の性能の推移を確認すると、調整の仕組みを理解しやすくなります。

参考資料

確認日:

用語一覧へ戻る