モデルが示す確信度と、実際に正解する割合の対応を評価したり、調整したりすることです。例えば80%の確信度を付けた回答群が、実際にも約80%正解するなら、その範囲ではよく対応しています。
実務で確認すること
多数の問題について確信度と正誤を記録し、確信度の範囲ごとに正答率を比較します。確信度をどう取得するか、どの課題で評価するかを決めておきます。トークンの生成確率を使う場合は、回答の正しさを表す確率として適切かも検討します。
参考資料
確認日:
LLMの振る舞いと評価
モデルが示す確信度と、実際に正解する割合の対応を評価したり、調整したりすることです。例えば80%の確信度を付けた回答群が、実際にも約80%正解するなら、その範囲ではよく対応しています。
多数の問題について確信度と正誤を記録し、確信度の範囲ごとに正答率を比較します。確信度をどう取得するか、どの課題で評価するかを決めておきます。トークンの生成確率を使う場合は、回答の正しさを表す確率として適切かも検討します。
確認日: