FlashAttentionとは

軽量化と高速化

GPUのメモリ階層を考慮し、読み書きするデータ量を減らしてAttentionを計算する手法です。計算を小さなまとまりに分け、中間データの保存を抑えることで、高速化や省メモリ化を図ります。

実務で確認すること

長い入力を扱う学習や推論で、実行時間や使用メモリを改善するために利用されます。対応するGPUや数値精度、実装を確認し、実際の入力長や処理件数で効果を測ります。高速化の幅は実行環境や処理条件によって変わります。

参考資料

確認日:

用語一覧へ戻る