小さく高速なモデルなどが複数のトークン候補を先に生成し、回答を担当するモデルがまとめて検証する高速化手法です。採用できる候補をまとめて処理し、生成に必要な計算の待ち時間を減らします。
実務で確認すること
速度の改善は、提案された候補がどれくらい採用されるかや、2つのモデルを動かす負荷に左右されます。実際の質問群で応答時間とメモリを測定します。標準的な方式は、回答を担当するモデルの出力確率分布を保つように設計されています。
参考資料
確認日:
軽量化と高速化
小さく高速なモデルなどが複数のトークン候補を先に生成し、回答を担当するモデルがまとめて検証する高速化手法です。採用できる候補をまとめて処理し、生成に必要な計算の待ち時間を減らします。
速度の改善は、提案された候補がどれくらい採用されるかや、2つのモデルを動かす負荷に左右されます。実際の質問群で応答時間とメモリを測定します。標準的な方式は、回答を担当するモデルの出力確率分布を保つように設計されています。
確認日: