KVキャッシュとは

軽量化と高速化

自己回帰型のTransformerが文章を生成するときに、過去のトークンについて計算したKeyとValueを保存して再利用する仕組みです。続きを生成するたびに同じ計算をやり直す負担を減らします。

実務で確認すること

長い入力や長い回答では、保持するキャッシュの量も大きくなります。運用時は同時処理数、入力の長さ、使用メモリを合わせて確認します。キャッシュの量子化や配置の変更など、メモリと速度を調整する方法もあります。

参考資料

確認日:

用語一覧へ戻る