パープレキシティとは

LLMの振る舞いと評価

評価対象の文章を、言語モデルがどれくらい予測しやすいかを表す指標です。各トークンに与えた確率から計算し、同じ評価条件では、値が小さいほどその文章に高い確率を与えていることを示します。

実務で確認すること

文章全体の平均の負の対数尤度を、指数関数で戻して計算します。比較では評価データ、トークナイザー、使える文脈の長さを揃えます。文章の予測のしやすさを測る指標なので、事実の正確さや業務での有用性には、それぞれに合う評価も併用します。

参考資料

確認日:

用語一覧へ戻る