文脈中の過去のパターンを利用し、続くトークンを予測する働きを持つ注意ヘッドです。典型例は「A、B」という並びを見た後、再びAが現れたときにBの予測を促す仕組みです。
実務で確認すること
同じ文字列が繰り返される入力などを使い、過去の並びのどこへ注意が向くかを調べます。インコンテキスト学習の仕組みを考える際の重要な研究対象で、分析では他のヘッドとの連携も確認します。
参考資料
確認日:
LLMの内部解析と解釈可能性
文脈中の過去のパターンを利用し、続くトークンを予測する働きを持つ注意ヘッドです。典型例は「A、B」という並びを見た後、再びAが現れたときにBの予測を促す仕組みです。
同じ文字列が繰り返される入力などを使い、過去の並びのどこへ注意が向くかを調べます。インコンテキスト学習の仕組みを考える際の重要な研究対象で、分析では他のヘッドとの連携も確認します。
確認日: