誘導ヘッド(Induction Heads)とは

LLMの内部解析と解釈可能性

文脈中の過去のパターンを利用し、続くトークンを予測する働きを持つ注意ヘッドです。典型例は「A、B」という並びを見た後、再びAが現れたときにBの予測を促す仕組みです。

実務で確認すること

同じ文字列が繰り返される入力などを使い、過去の並びのどこへ注意が向くかを調べます。インコンテキスト学習の仕組みを考える際の重要な研究対象で、分析では他のヘッドとの連携も確認します。

参考資料

確認日:

用語一覧へ戻る