プロセス報酬モデル(PRM)とは

LLMの学習と調整

Process Reward Modelの略。推論の途中のステップに対して、正しさや妥当性などを評価する報酬モデルです。途中の誤りを捉えたり、複数の推論経路から有望な候補を選んだりするために利用されます。

実務で確認すること

例えば数学の解答を行ごとに評価し、誤った式変形がある段階を見つけます。評価対象となるステップの区切り方や、正誤の判断基準を確認します。途中の評価と、最終的な正答率の関係も調べると、評価器の有効性を把握しやすくなります。

参考資料

確認日:

用語一覧へ戻る