Low-Rank Adaptationの略。学習済みモデルの重みを固定し、重みの変化を表す小さな行列を追加して学習する手法です。モデル全体を更新する方法に比べ、学習するパラメータ数を抑えられます。
実務で確認すること
元のモデルを共通に使い、用途ごとに追加の重みを管理する運用ができます。学習設定では対象にする層やランクと呼ばれる値などを確認します。実際に使う基盤モデルとの組み合わせと、調整したいタスクでの性能を評価します。
参考資料
確認日:
軽量化と高速化
Low-Rank Adaptationの略。学習済みモデルの重みを固定し、重みの変化を表す小さな行列を追加して学習する手法です。モデル全体を更新する方法に比べ、学習するパラメータ数を抑えられます。
元のモデルを共通に使い、用途ごとに追加の重みを管理する運用ができます。学習設定では対象にする層やランクと呼ばれる値などを確認します。実際に使う基盤モデルとの組み合わせと、調整したいタスクでの性能を評価します。
確認日: