確率が高い上位k個のトークンに候補を絞り、その中から次のトークンを選ぶ方法です。指定するkによって、生成時に考慮する候補の数を制御します。
実務で確認すること
例えばkが5なら、各生成ステップで確率上位5候補を選択対象にします。利用できる設定はモデルや提供サービスによって異なります。候補数を変えたときの表現の幅や繰り返しを、同じ質問群で比較すると影響を把握しやすくなります。
参考資料
確認日:
文章生成と推論の制御
確率が高い上位k個のトークンに候補を絞り、その中から次のトークンを選ぶ方法です。指定するkによって、生成時に考慮する候補の数を制御します。
例えばkが5なら、各生成ステップで確率上位5候補を選択対象にします。利用できる設定はモデルや提供サービスによって異なります。候補数を変えたときの表現の幅や繰り返しを、同じ質問群で比較すると影響を把握しやすくなります。
確認日: