Grouped-Query Attentionの略。複数のQueryヘッドをグループに分け、各グループでKeyとValueのヘッドを共有するAttentionの構造です。KVキャッシュの量などを抑え、推論を効率化するために使われます。
実務で確認すること
モデルの仕様では、Queryヘッド数とKey・Valueヘッド数が示される場合があります。例えばQueryが32個、Key・Valueが8組なら、4つのQueryヘッドごとに共有します。利用時はモデルの品質と、入力長や同時処理数に応じたメモリ使用量を確認します。
参考資料
確認日: