ニューラルネットワーク内部の計算を分析し、特定の振る舞いが生まれる仕組みを解明する研究分野です。LLMでは、注意ヘッドや内部表現、複数の部品からなる回路などを調べます。
実務で確認すること
例えば、文脈に登場した名前をモデルがどう取り出すかを、内部の情報の流れから分析します。研究を読む際は、対象モデル、調べた振る舞い、内部への介入によって確かめた範囲を確認すると、結果を理解しやすくなります。
参考資料
確認日:
LLMの内部解析と解釈可能性
ニューラルネットワーク内部の計算を分析し、特定の振る舞いが生まれる仕組みを解明する研究分野です。LLMでは、注意ヘッドや内部表現、複数の部品からなる回路などを調べます。
例えば、文脈に登場した名前をモデルがどう取り出すかを、内部の情報の流れから分析します。研究を読む際は、対象モデル、調べた振る舞い、内部への介入によって確かめた範囲を確認すると、結果を理解しやすくなります。
確認日: