自己回帰型LLMの推論で、出力を順番に生成する前に、入力されたトークン列を処理する段階です。一般的なTransformerの実装では、この段階で入力に対応するKVキャッシュも作られます。
実務で確認すること
長い資料を入力すると、最初のトークンが出るまでの待ち時間にプリフィルの処理量が関わります。応答速度を調べる際は、最初の出力までの時間と、その後の生成速度を分けて記録すると、改善したい部分を特定しやすくなります。
参考資料
確認日:
軽量化と高速化
自己回帰型LLMの推論で、出力を順番に生成する前に、入力されたトークン列を処理する段階です。一般的なTransformerの実装では、この段階で入力に対応するKVキャッシュも作られます。
長い資料を入力すると、最初のトークンが出るまでの待ち時間にプリフィルの処理量が関わります。応答速度を調べる際は、最初の出力までの時間と、その後の生成速度を分けて記録すると、改善したい部分を特定しやすくなります。
確認日: