GPUのメモリ階層を考慮し、読み書きするデータ量を減らしてAttentionを計算する手法です。計算を小さなまとまりに分け、中間データの保存を抑えることで、高速化や省メモリ化を図ります。
実務で確認すること
長い入力を扱う学習や推論で、実行時間や使用メモリを改善するために利用されます。対応するGPUや数値精度、実装を確認し、実際の入力長や処理件数で効果を測ります。高速化の幅は実行環境や処理条件によって変わります。
参考資料
確認日:
軽量化と高速化
GPUのメモリ階層を考慮し、読み書きするデータ量を減らしてAttentionを計算する手法です。計算を小さなまとまりに分け、中間データの保存を抑えることで、高速化や省メモリ化を図ります。
長い入力を扱う学習や推論で、実行時間や使用メモリを改善するために利用されます。対応するGPUや数値精度、実装を確認し、実際の入力長や処理件数で効果を測ります。高速化の幅は実行環境や処理条件によって変わります。
確認日: