モデルが生成したデータを次の世代の学習へ繰り返し利用するなどの条件で、元のデータ分布の情報が失われ、品質や多様性が低下する現象です。出現頻度の低い情報が失われることなどが研究されています。
実務で確認すること
合成データを学習に使う際は、元のデータとの混合方法、品質管理、少数の事例の保持を確認します。世代ごとに同じ評価を行い、品質や多様性の変化を追います。生成データを使えば必ず起こるという意味ではなく、データの構成や学習条件が関係します。
参考資料
確認日:
LLMの振る舞いと評価
モデルが生成したデータを次の世代の学習へ繰り返し利用するなどの条件で、元のデータ分布の情報が失われ、品質や多様性が低下する現象です。出現頻度の低い情報が失われることなどが研究されています。
合成データを学習に使う際は、元のデータとの混合方法、品質管理、少数の事例の保持を確認します。世代ごとに同じ評価を行い、品質や多様性の変化を追います。生成データを使えば必ず起こるという意味ではなく、データの構成や学習条件が関係します。
確認日: