それまでの文脈をもとに、次に続くトークンの確率を予測することです。自己回帰型の言語モデルでは、この予測を学習に使い、生成時にも次のトークンを選ぶために利用します。
実務で確認すること
例えば「今日の天気は」の続きを生成する際、モデルは候補ごとの確率を計算します。選ばれたトークンを文脈に加え、さらに次を予測します。どの候補を選ぶかには、temperatureやTop-pなどの生成設定も関わります。
参考資料
確認日:
LLMの構造
それまでの文脈をもとに、次に続くトークンの確率を予測することです。自己回帰型の言語モデルでは、この予測を学習に使い、生成時にも次のトークンを選ぶために利用します。
例えば「今日の天気は」の続きを生成する際、モデルは候補ごとの確率を計算します。選ばれたトークンを文脈に加え、さらに次を予測します。どの候補を選ぶかには、temperatureやTop-pなどの生成設定も関わります。
確認日: