pass@kとは

LLMの振る舞いと評価

1つの問題に対してk個の候補を生成したとき、少なくとも1つが正解する確率を表す評価指標です。コード生成では、生成したプログラムがテストを通るかなどで正解を判定します。

実務で確認すること

例えばpass@1は1候補での成功を評価し、pass@10は10候補の中に成功例があるかを評価します。結果を比べる際はk、生成設定、テスト内容を揃えます。この指標だけでは、正解の候補を実際に選び出せるかまでは評価しません。

参考資料

確認日:

用語一覧へ戻る