LLMを評価者として使い、回答の品質を採点したり、複数の回答を比較したりする方法です。正解が一つに決まらない文章についても、評価基準を与えて判定するために利用されます。
実務で確認すること
例えば、質問への対応、根拠の整合性、読みやすさなどを分けて評価させます。判定に使ったモデルと指示を記録し、人による点検も行います。回答の提示順や長さで評価が変わる場合があるため、順番を入れ替えた比較も役立ちます。
参考資料
確認日:
LLMの振る舞いと評価
LLMを評価者として使い、回答の品質を採点したり、複数の回答を比較したりする方法です。正解が一つに決まらない文章についても、評価基準を与えて判定するために利用されます。
例えば、質問への対応、根拠の整合性、読みやすさなどを分けて評価させます。判定に使ったモデルと指示を記録し、人による点検も行います。回答の提示順や長さで評価が変わる場合があるため、順番を入れ替えた比較も役立ちます。
確認日: