自己回帰型のTransformerが文章を生成するときに、過去のトークンについて計算したKeyとValueを保存して再利用する仕組みです。続きを生成するたびに同じ計算をやり直す負担を減らします。
実務で確認すること
長い入力や長い回答では、保持するキャッシュの量も大きくなります。運用時は同時処理数、入力の長さ、使用メモリを合わせて確認します。キャッシュの量子化や配置の変更など、メモリと速度を調整する方法もあります。
参考資料
確認日:
軽量化と高速化
自己回帰型のTransformerが文章を生成するときに、過去のトークンについて計算したKeyとValueを保存して再利用する仕組みです。続きを生成するたびに同じ計算をやり直す負担を減らします。
長い入力や長い回答では、保持するキャッシュの量も大きくなります。運用時は同時処理数、入力の長さ、使用メモリを合わせて確認します。キャッシュの量子化や配置の変更など、メモリと速度を調整する方法もあります。
確認日: