PagedAttentionとは

軽量化と高速化

KVキャッシュを固定サイズのブロックに分けて管理する注意計算の仕組みです。OSの仮想メモリ管理から着想を得て、連続した大きな領域を確保する際の無駄を減らし、キャッシュの共有も可能にします。

実務で確認すること

vLLMの基盤となった技術です。多数のリクエストを処理するときは、メモリ使用量、処理できる同時リクエスト数、応答待ち時間を比較します。特に入力や出力の長さがばらつく条件で、キャッシュ管理の効率が重要になります。

参考資料

確認日:

用語一覧へ戻る