大量の文章の中に特定の情報を埋め込み、モデルがその情報を正しく取り出せるかを調べる評価です。NIAHとも略され、長いコンテキストを扱う能力の検証に使われます。
実務で確認すること
文章の長さと、探す情報を置く位置を変えながら質問します。例えば長い資料の中央に置いた識別番号を正しく答えられるかを確認します。複数箇所の情報を組み合わせる課題も加えると、単一情報の取り出しより広い能力を評価できます。
参考資料
確認日:
LLMの振る舞いと評価
大量の文章の中に特定の情報を埋め込み、モデルがその情報を正しく取り出せるかを調べる評価です。NIAHとも略され、長いコンテキストを扱う能力の検証に使われます。
文章の長さと、探す情報を置く位置を変えながら質問します。例えば長い資料の中央に置いた識別番号を正しく答えられるかを確認します。複数箇所の情報を組み合わせる課題も加えると、単一情報の取り出しより広い能力を評価できます。
確認日: