MQA(Multi-Query Attention)とは

LLMの構造

複数のクエリヘッドが、共通のキーとバリューを利用する注意機構です。生成時に読み込むキーとバリューの量を減らし、メモリ帯域やKVキャッシュの負担を軽減します。

実務で確認すること

GQAではヘッドのグループごとにキーとバリューを共有し、MQAでは全クエリヘッドで共有します。モデルの比較では、メモリ削減だけでなく、回答品質、生成速度、利用可能な文脈長を同じ条件で評価します。

参考資料

確認日:

用語一覧へ戻る