Group Relative Policy Optimizationの略。同じ問題に対して生成した複数の回答の報酬を比較し、グループ内で相対的に良い回答を増やすように学習する強化学習手法です。DeepSeekMathで提案されました。
実務で確認すること
例えば1つの計算問題から複数の解答を生成し、正誤などの報酬を使って更新します。グループの回答数、報酬の付け方、問題の難易度を確認します。回答がすべて同じ報酬になる場合など、学習の手がかりが得にくい条件にも注目します。
参考資料
確認日:
LLMの学習と調整
Group Relative Policy Optimizationの略。同じ問題に対して生成した複数の回答の報酬を比較し、グループ内で相対的に良い回答を増やすように学習する強化学習手法です。DeepSeekMathで提案されました。
例えば1つの計算問題から複数の解答を生成し、正誤などの報酬を使って更新します。グループの回答数、報酬の付け方、問題の難易度を確認します。回答がすべて同じ報酬になる場合など、学習の手がかりが得にくい条件にも注目します。
確認日: