学習済みの重みを大きさと方向に分解して調整する手法です。方向の更新にLoRAを利用し、学習するパラメータ数を抑えながら、モデル全体を調整する方法に近い学習能力を目指します。
実務で確認すること
既存のLoRAによる調整で精度が十分でない場合の比較候補になります。同じモデルとデータで、精度、学習時のメモリ、所要時間を比較します。運用する推論環境で、学習後の重みの統合や読み込みに対応しているかも確認します。
参考資料
確認日:
LLMの学習と調整
学習済みの重みを大きさと方向に分解して調整する手法です。方向の更新にLoRAを利用し、学習するパラメータ数を抑えながら、モデル全体を調整する方法に近い学習能力を目指します。
既存のLoRAによる調整で精度が十分でない場合の比較候補になります。同じモデルとデータで、精度、学習時のメモリ、所要時間を比較します。運用する推論環境で、学習後の重みの統合や読み込みに対応しているかも確認します。
確認日: