Top-kとは

文章生成と推論の制御

確率が高い上位k個のトークンに候補を絞り、その中から次のトークンを選ぶ方法です。指定するkによって、生成時に考慮する候補の数を制御します。

実務で確認すること

例えばkが5なら、各生成ステップで確率上位5候補を選択対象にします。利用できる設定はモデルや提供サービスによって異なります。候補数を変えたときの表現の幅や繰り返しを、同じ質問群で比較すると影響を把握しやすくなります。

参考資料

確認日:

用語一覧へ戻る