複数のクエリヘッドが、共通のキーとバリューを利用する注意機構です。生成時に読み込むキーとバリューの量を減らし、メモリ帯域やKVキャッシュの負担を軽減します。
実務で確認すること
GQAではヘッドのグループごとにキーとバリューを共有し、MQAでは全クエリヘッドで共有します。モデルの比較では、メモリ削減だけでなく、回答品質、生成速度、利用可能な文脈長を同じ条件で評価します。
参考資料
確認日:
LLMの構造
複数のクエリヘッドが、共通のキーとバリューを利用する注意機構です。生成時に読み込むキーとバリューの量を減らし、メモリ帯域やKVキャッシュの負担を軽減します。
GQAではヘッドのグループごとにキーとバリューを共有し、MQAでは全クエリヘッドで共有します。モデルの比較では、メモリ削減だけでなく、回答品質、生成速度、利用可能な文脈長を同じ条件で評価します。
確認日: