能力を測るための評価問題や、その解答に近い情報が学習データに含まれ、評価結果に影響することです。初めて出会う問題への対応力を測りたい場合に、結果を解釈しにくくする要因になります。
実務で確認すること
モデルを評価するときは、問題の公開時期、学習データとの重複確認、非公開の評価セットの有無などを調べます。公開後に作られた新しい問題を使う方法や、継続して問題を更新する方法もあります。自社評価でも、学習用と評価用のデータを分けて管理します。
参考資料
確認日:
LLMの振る舞いと評価
能力を測るための評価問題や、その解答に近い情報が学習データに含まれ、評価結果に影響することです。初めて出会う問題への対応力を測りたい場合に、結果を解釈しにくくする要因になります。
モデルを評価するときは、問題の公開時期、学習データとの重複確認、非公開の評価セットの有無などを調べます。公開後に作られた新しい問題を使う方法や、継続して問題を更新する方法もあります。自社評価でも、学習用と評価用のデータを分けて管理します。
確認日: