Reinforcement Learning from Human Feedbackの略。人間の評価や好みをフィードバックとして使い、モデルを強化学習で調整する方法です。人にとって役立つ回答や望ましい振る舞いを学習させるために使われます。
実務で確認すること
代表的な流れでは、人が複数の回答を比較し、その評価から報酬モデルを作って言語モデルを調整します。何を良い回答とするかは評価基準に依存するため、モデルの説明では評価者に示した基準や対象タスクにも注目します。
参考資料
確認日:
LLMの学習と調整
Reinforcement Learning from Human Feedbackの略。人間の評価や好みをフィードバックとして使い、モデルを強化学習で調整する方法です。人にとって役立つ回答や望ましい振る舞いを学習させるために使われます。
代表的な流れでは、人が複数の回答を比較し、その評価から報酬モデルを作って言語モデルを調整します。何を良い回答とするかは評価基準に依存するため、モデルの説明では評価者に示した基準や対象タスクにも注目します。
確認日: