ベンチマーク汚染とは

LLMの振る舞いと評価

能力を測るための評価問題や、その解答に近い情報が学習データに含まれ、評価結果に影響することです。初めて出会う問題への対応力を測りたい場合に、結果を解釈しにくくする要因になります。

実務で確認すること

モデルを評価するときは、問題の公開時期、学習データとの重複確認、非公開の評価セットの有無などを調べます。公開後に作られた新しい問題を使う方法や、継続して問題を更新する方法もあります。自社評価でも、学習用と評価用のデータを分けて管理します。

参考資料

確認日:

用語一覧へ戻る