モデル内部の活動値を、別の入力を処理したときの値に差し替え、出力の変化を調べる分析手法です。特定の回答や振る舞いに、どの層や注意ヘッドなどが関与するかを検証します。
実務で確認すること
例えば、正答できる入力と情報を変えた入力を用意し、内部の一部を差し替えると正答の確率が戻るかを測ります。入力の組み合わせ、差し替える位置、評価指標によって結果の意味が変わるため、実験条件と一緒に読みます。
参考資料
確認日:
LLMの内部解析と解釈可能性
モデル内部の活動値を、別の入力を処理したときの値に差し替え、出力の変化を調べる分析手法です。特定の回答や振る舞いに、どの層や注意ヘッドなどが関与するかを検証します。
例えば、正答できる入力と情報を変えた入力を用意し、内部の一部を差し替えると正答の確率が戻るかを測ります。入力の組み合わせ、差し替える位置、評価指標によって結果の意味が変わるため、実験条件と一緒に読みます。
確認日: