キャリブレーションとは

LLMの振る舞いと評価

モデルが示す確信度と、実際に正解する割合の対応を評価したり、調整したりすることです。例えば80%の確信度を付けた回答群が、実際にも約80%正解するなら、その範囲ではよく対応しています。

実務で確認すること

多数の問題について確信度と正誤を記録し、確信度の範囲ごとに正答率を比較します。確信度をどう取得するか、どの課題で評価するかを決めておきます。トークンの生成確率を使う場合は、回答の正しさを表す確率として適切かも検討します。

参考資料

確認日:

用語一覧へ戻る