アクティベーション・パッチングとは

LLMの内部解析と解釈可能性

モデル内部の活動値を、別の入力を処理したときの値に差し替え、出力の変化を調べる分析手法です。特定の回答や振る舞いに、どの層や注意ヘッドなどが関与するかを検証します。

実務で確認すること

例えば、正答できる入力と情報を変えた入力を用意し、内部の一部を差し替えると正答の確率が戻るかを測ります。入力の組み合わせ、差し替える位置、評価指標によって結果の意味が変わるため、実験条件と一緒に読みます。

参考資料

確認日:

用語一覧へ戻る