キーとバリューの情報を低次元の潜在表現に圧縮して保持する注意機構です。DeepSeek-V2で提案され、生成時に必要なKVキャッシュのメモリ使用量を抑えることを狙います。
実務で確認すること
長い入力や多数の同時リクエストでは、KVキャッシュの容量が処理可能量に影響します。モデル仕様を比較する際は、MLAの採用有無に加え、実際の文脈長、同時実行数、利用する推論エンジンでの速度と精度を確認します。
参考資料
確認日:
LLMの構造
キーとバリューの情報を低次元の潜在表現に圧縮して保持する注意機構です。DeepSeek-V2で提案され、生成時に必要なKVキャッシュのメモリ使用量を抑えることを狙います。
長い入力や多数の同時リクエストでは、KVキャッシュの容量が処理可能量に影響します。モデル仕様を比較する際は、MLAの採用有無に加え、実際の文脈長、同時実行数、利用する推論エンジンでの速度と精度を確認します。
確認日: