長い入力の中央付近に置かれた情報を、モデルがうまく活用できないことがある現象です。同名の研究では、必要な情報の位置によって回答の性能が変わり、冒頭や末尾より中央で低下する傾向が報告されました。
実務で確認すること
同じ資料の並び順だけを変え、必要な情報を冒頭・中央・末尾に置いて回答を比較できます。長文を入力できるモデルを評価するときは、入力上限だけでなく、必要な情報を実際に取り出せるかも確認します。傾向はモデルや課題によって異なります。
参考資料
確認日:
LLMの振る舞いと評価
長い入力の中央付近に置かれた情報を、モデルがうまく活用できないことがある現象です。同名の研究では、必要な情報の位置によって回答の性能が変わり、冒頭や末尾より中央で低下する傾向が報告されました。
同じ資料の並び順だけを変え、必要な情報を冒頭・中央・末尾に置いて回答を比較できます。長文を入力できるモデルを評価するときは、入力上限だけでなく、必要な情報を実際に取り出せるかも確認します。傾向はモデルや課題によって異なります。
確認日: