Direct Preference Optimizationの略。同じ入力に対する好ましい回答と好ましくない回答の組を使い、言語モデルを直接調整する手法です。標準的なDPOでは、独立した報酬モデルを学習する段階を必要としません。
実務で確認すること
例えば、情報が整理された回答を選好例、重要な条件を落とした回答を非選好例として用意します。どのような差を好ましいと判断したかを揃えることで、狙った振る舞いを学習させやすくなります。調整後は、別の質問でも改善が見られるか評価します。
参考資料
確認日: