評価対象の文章を、言語モデルがどれくらい予測しやすいかを表す指標です。各トークンに与えた確率から計算し、同じ評価条件では、値が小さいほどその文章に高い確率を与えていることを示します。
実務で確認すること
文章全体の平均の負の対数尤度を、指数関数で戻して計算します。比較では評価データ、トークナイザー、使える文脈の長さを揃えます。文章の予測のしやすさを測る指標なので、事実の正確さや業務での有用性には、それぞれに合う評価も併用します。
参考資料
確認日:
LLMの振る舞いと評価
評価対象の文章を、言語モデルがどれくらい予測しやすいかを表す指標です。各トークンに与えた確率から計算し、同じ評価条件では、値が小さいほどその文章に高い確率を与えていることを示します。
文章全体の平均の負の対数尤度を、指数関数で戻して計算します。比較では評価データ、トークナイザー、使える文脈の長さを揃えます。文章の予測のしやすさを測る指標なので、事実の正確さや業務での有用性には、それぞれに合う評価も併用します。
確認日: