DoRAとは

LLMの学習と調整

学習済みの重みを大きさと方向に分解して調整する手法です。方向の更新にLoRAを利用し、学習するパラメータ数を抑えながら、モデル全体を調整する方法に近い学習能力を目指します。

実務で確認すること

既存のLoRAによる調整で精度が十分でない場合の比較候補になります。同じモデルとデータで、精度、学習時のメモリ、所要時間を比較します。運用する推論環境で、学習後の重みの統合や読み込みに対応しているかも確認します。

参考資料

確認日:

用語一覧へ戻る