SimPOとは

LLMの学習と調整

回答のトークンあたりの平均対数確率を暗黙の報酬として使う、参照モデル不要の選好最適化手法です。好ましい回答と好ましくない回答の報酬差に目標となる幅を設け、選好を学習します。

実務で確認すること

DPOなどと比較するときは、ベースモデル、選好データ、学習条件をそろえます。回答が長いだけで有利になる評価を避けるため、回答長の分布や長さを考慮した評価も確認すると、改善の内容を判断しやすくなります。

参考資料

確認日:

用語一覧へ戻る