確率の高い順に候補を集め、累積確率が指定した値に達する最小の候補集合から、次のトークンを選ぶ方法です。ニュークリアスサンプリングとも呼ばれます。
実務で確認すること
例えば候補の確率が50%、30%、15%、5%なら、Top-pを0.8とすると上位2候補が選択対象になります。回答の揺らぎを比較するときは、temperatureや他の生成設定と合わせて値を記録し、同じ条件で繰り返し観測します。
参考資料
確認日:
文章生成と推論の制御
確率の高い順に候補を集め、累積確率が指定した値に達する最小の候補集合から、次のトークンを選ぶ方法です。ニュークリアスサンプリングとも呼ばれます。
例えば候補の確率が50%、30%、15%、5%なら、Top-pを0.8とすると上位2候補が選択対象になります。回答の揺らぎを比較するときは、temperatureや他の生成設定と合わせて値を記録し、同じ条件で繰り返し観測します。
確認日: