Lost in the Middleとは

LLMの振る舞いと評価

長い入力の中央付近に置かれた情報を、モデルがうまく活用できないことがある現象です。同名の研究では、必要な情報の位置によって回答の性能が変わり、冒頭や末尾より中央で低下する傾向が報告されました。

実務で確認すること

同じ資料の並び順だけを変え、必要な情報を冒頭・中央・末尾に置いて回答を比較できます。長文を入力できるモデルを評価するときは、入力上限だけでなく、必要な情報を実際に取り出せるかも確認します。傾向はモデルや課題によって異なります。

参考資料

確認日:

用語一覧へ戻る