学習済みモデル本体の重みを固定し、各層の処理に付加する小さな連続ベクトルを学習する調整手法です。この学習可能な接頭部分を使って、要約などの特定タスクに生成を適応させます。
実務で確認すること
タスクごとに小さな学習済みベクトルを保存できるため、調整対象のパラメータ数を抑えられます。導入時は、対応モデル、必要な学習データ量、ベクトルの長さ、通常のファインチューニングとの精度差を確認します。
参考資料
確認日:
LLMの学習と調整
学習済みモデル本体の重みを固定し、各層の処理に付加する小さな連続ベクトルを学習する調整手法です。この学習可能な接頭部分を使って、要約などの特定タスクに生成を適応させます。
タスクごとに小さな学習済みベクトルを保存できるため、調整対象のパラメータ数を抑えられます。導入時は、対応モデル、必要な学習データ量、ベクトルの長さ、通常のファインチューニングとの精度差を確認します。
確認日: