残差ストリーム(Residual Stream)とは

LLMの内部解析と解釈可能性

Transformerの各層を通じて引き継がれる内部表現です。注意機構やMLPなどの部品がこの表現を読み取り、計算した結果を加えることで、後続の層が利用する情報が更新されます。

実務で確認すること

各トークンの位置に対応するベクトルとして情報が流れます。回路解析の図では、どの部品が何を読み、どこへ結果を書き込むかに注目すると、複数の層をまたぐ処理を追いやすくなります。

参考資料

確認日:

用語一覧へ戻る