LLM-as-a-Judgeとは

LLMの振る舞いと評価

LLMを評価者として使い、回答の品質を採点したり、複数の回答を比較したりする方法です。正解が一つに決まらない文章についても、評価基準を与えて判定するために利用されます。

実務で確認すること

例えば、質問への対応、根拠の整合性、読みやすさなどを分けて評価させます。判定に使ったモデルと指示を記録し、人による点検も行います。回答の提示順や長さで評価が変わる場合があるため、順番を入れ替えた比較も役立ちます。

参考資料

確認日:

用語一覧へ戻る