入力を少数の活性化した特徴で表現し、そこから元の入力を再構成するモデルです。LLMの解釈可能性研究では、内部の活動を多数の特徴に分解し、人が理解しやすい分析単位を見つけるために使われます。
実務で確認すること
例えば、法律に関する文章や特定の記号列に反応する特徴を抽出し、どの入力で強く反応するかを調べます。抽出した特徴の解釈に加え、元の活動をどれだけ再構成できるか、特徴への介入が出力にどう影響するかも確認します。
参考資料
確認日:
LLMの内部解析と解釈可能性
入力を少数の活性化した特徴で表現し、そこから元の入力を再構成するモデルです。LLMの解釈可能性研究では、内部の活動を多数の特徴に分解し、人が理解しやすい分析単位を見つけるために使われます。
例えば、法律に関する文章や特定の記号列に反応する特徴を抽出し、どの入力で強く反応するかを調べます。抽出した特徴の解釈に加え、元の活動をどれだけ再構成できるか、特徴への介入が出力にどう影響するかも確認します。
確認日: