MLA(Multi-head Latent Attention)とは

LLMの構造

キーとバリューの情報を低次元の潜在表現に圧縮して保持する注意機構です。DeepSeek-V2で提案され、生成時に必要なKVキャッシュのメモリ使用量を抑えることを狙います。

実務で確認すること

長い入力や多数の同時リクエストでは、KVキャッシュの容量が処理可能量に影響します。モデル仕様を比較する際は、MLAの採用有無に加え、実際の文脈長、同時実行数、利用する推論エンジンでの速度と精度を確認します。

参考資料

確認日:

用語一覧へ戻る