スパースオートエンコーダー(SAE)とは

LLMの内部解析と解釈可能性

入力を少数の活性化した特徴で表現し、そこから元の入力を再構成するモデルです。LLMの解釈可能性研究では、内部の活動を多数の特徴に分解し、人が理解しやすい分析単位を見つけるために使われます。

実務で確認すること

例えば、法律に関する文章や特定の記号列に反応する特徴を抽出し、どの入力で強く反応するかを調べます。抽出した特徴の解釈に加え、元の活動をどれだけ再構成できるか、特徴への介入が出力にどう影響するかも確認します。

参考資料

確認日:

用語一覧へ戻る