QLoRAとは

軽量化と高速化

4ビットに量子化した基盤モデルを固定し、LoRAの追加行列を学習する手法です。基盤モデルを保持するメモリを抑えながら、大規模な言語モデルを追加学習できるようにします。

実務で確認すること

GPUメモリの制約がある環境で、モデルを調整する際の選択肢になります。必要なメモリはモデルの大きさだけでなく、入力の長さやバッチサイズにも関わります。学習後の品質と、実際に推論する環境での動作も確認します。

参考資料

確認日:

用語一覧へ戻る