GQAとは

LLMの構造

Grouped-Query Attentionの略。複数のQueryヘッドをグループに分け、各グループでKeyとValueのヘッドを共有するAttentionの構造です。KVキャッシュの量などを抑え、推論を効率化するために使われます。

実務で確認すること

モデルの仕様では、Queryヘッド数とKey・Valueヘッド数が示される場合があります。例えばQueryが32個、Key・Valueが8組なら、4つのQueryヘッドごとに共有します。利用時はモデルの品質と、入力長や同時処理数に応じたメモリ使用量を確認します。

参考資料

確認日:

用語一覧へ戻る