新しいタスクや知識を学習する過程で、それまでに獲得していた能力が大きく低下する現象です。継続的な学習やファインチューニングを行うモデルで、以前の課題への性能を保てるかという問題に関わります。
実務で確認すること
例えば特定業務に合わせた追加学習の前後で、一般的な質問や以前の業務の評価も行います。新しい課題だけでなく既存の課題の成績を保存し、必要に応じて過去のデータを混ぜるなどの方法を検討します。
参考資料
確認日:
LLMの振る舞いと評価
新しいタスクや知識を学習する過程で、それまでに獲得していた能力が大きく低下する現象です。継続的な学習やファインチューニングを行うモデルで、以前の課題への性能を保てるかという問題に関わります。
例えば特定業務に合わせた追加学習の前後で、一般的な質問や以前の業務の評価も行います。新しい課題だけでなく既存の課題の成績を保存し、必要に応じて過去のデータを混ぜるなどの方法を検討します。
確認日: