破滅的忘却とは

LLMの振る舞いと評価

新しいタスクや知識を学習する過程で、それまでに獲得していた能力が大きく低下する現象です。継続的な学習やファインチューニングを行うモデルで、以前の課題への性能を保てるかという問題に関わります。

実務で確認すること

例えば特定業務に合わせた追加学習の前後で、一般的な質問や以前の業務の評価も行います。新しい課題だけでなく既存の課題の成績を保存し、必要に応じて過去のデータを混ぜるなどの方法を検討します。

参考資料

確認日:

用語一覧へ戻る