ORPOとは

LLMの学習と調整

好ましい回答を学習する教師ありの目的に、好ましくない回答との差を広げる目的を組み込む選好最適化手法です。オッズ比を利用し、比較用の参照モデルを用意せずに学習を行います。

実務で確認すること

学習データには、質問と好ましい回答・好ましくない回答の組を用意します。どの回答を好ましいとしたかという基準が、学習後の振る舞いに影響します。評価では指示への追従、回答品質、長さなどを確認します。

参考資料

確認日:

用語一覧へ戻る