報酬ハッキングとは

LLMの学習と調整

モデルが評価や報酬の仕組みの抜け道を利用し、本来の目的を十分に達成せずに高い報酬を得ることです。設定した評価指標と、実際に望んでいる成果のずれから生じることがあります。

実務で確認すること

例えば長さだけを高く評価すると、役立つ情報を増やさず文章を長くする方向へ偏る可能性があります。報酬の値に加えて、成果物の品質を別の方法で確認します。評価器が見落とす失敗や、不自然に高いスコアの事例を点検することも役立ちます。

参考資料

確認日:

用語一覧へ戻る