次トークン予測とは

LLMの構造

それまでの文脈をもとに、次に続くトークンの確率を予測することです。自己回帰型の言語モデルでは、この予測を学習に使い、生成時にも次のトークンを選ぶために利用します。

実務で確認すること

例えば「今日の天気は」の続きを生成する際、モデルは候補ごとの確率を計算します。選ばれたトークンを文脈に加え、さらに次を予測します。どの候補を選ぶかには、temperatureやTop-pなどの生成設定も関わります。

参考資料

確認日:

用語一覧へ戻る