ニューラルネットワークが、内部表現の次元数よりも多くの特徴を、異なる方向に重ねて保持する現象です。特徴が同時には現れにくいことなどを利用し、限られた次元で多数の特徴を表現できます。
実務で確認すること
例えば、あるニューロンが複数の異なる話題に反応する場合、複数ニューロンの組み合わせとして特徴を調べると理解が進むことがあります。個々のニューロンだけを見る分析と、特徴単位の分析をつなぐ概念です。
参考資料
確認日:
LLMの内部解析と解釈可能性
ニューラルネットワークが、内部表現の次元数よりも多くの特徴を、異なる方向に重ねて保持する現象です。特徴が同時には現れにくいことなどを利用し、限られた次元で多数の特徴を表現できます。
例えば、あるニューロンが複数の異なる話題に反応する場合、複数ニューロンの組み合わせとして特徴を調べると理解が進むことがあります。個々のニューロンだけを見る分析と、特徴単位の分析をつなぐ概念です。
確認日: