モデル崩壊(Model Collapse)とは

LLMの振る舞いと評価

モデルが生成したデータを次の世代の学習へ繰り返し利用するなどの条件で、元のデータ分布の情報が失われ、品質や多様性が低下する現象です。出現頻度の低い情報が失われることなどが研究されています。

実務で確認すること

合成データを学習に使う際は、元のデータとの混合方法、品質管理、少数の事例の保持を確認します。世代ごとに同じ評価を行い、品質や多様性の変化を追います。生成データを使えば必ず起こるという意味ではなく、データの構成や学習条件が関係します。

参考資料

確認日:

用語一覧へ戻る