DPO(直接選好最適化)とは

LLMの学習と調整

Direct Preference Optimizationの略。同じ入力に対する好ましい回答と好ましくない回答の組を使い、言語モデルを直接調整する手法です。標準的なDPOでは、独立した報酬モデルを学習する段階を必要としません。

実務で確認すること

例えば、情報が整理された回答を選好例、重要な条件を落とした回答を非選好例として用意します。どのような差を好ましいと判断したかを揃えることで、狙った振る舞いを学習させやすくなります。調整後は、別の質問でも改善が見られるか評価します。

参考資料

確認日:

用語一覧へ戻る