モデルが出す、確率に変換する前のスコアです。LLMの次トークン予測では、語彙内の各トークンにスコアが付き、softmaxなどの処理を通じて候補の確率へ変換されます。
実務で確認すること
生成の設定は、スコアや確率の扱いに関わります。例えばtemperatureは候補間の確率の偏りを調整します。生成結果を分析するときは、元のロジットなのか、生成設定による処理を加えたスコアなのかを確認すると比較しやすくなります。
参考資料
確認日:
文章生成と推論の制御
モデルが出す、確率に変換する前のスコアです。LLMの次トークン予測では、語彙内の各トークンにスコアが付き、softmaxなどの処理を通じて候補の確率へ変換されます。
生成の設定は、スコアや確率の扱いに関わります。例えばtemperatureは候補間の確率の偏りを調整します。生成結果を分析するときは、元のロジットなのか、生成設定による処理を加えたスコアなのかを確認すると比較しやすくなります。
確認日: