Transformerの各層を通じて引き継がれる内部表現です。注意機構やMLPなどの部品がこの表現を読み取り、計算した結果を加えることで、後続の層が利用する情報が更新されます。
実務で確認すること
各トークンの位置に対応するベクトルとして情報が流れます。回路解析の図では、どの部品が何を読み、どこへ結果を書き込むかに注目すると、複数の層をまたぐ処理を追いやすくなります。
参考資料
確認日:
LLMの内部解析と解釈可能性
Transformerの各層を通じて引き継がれる内部表現です。注意機構やMLPなどの部品がこの表現を読み取り、計算した結果を加えることで、後続の層が利用する情報が更新されます。
各トークンの位置に対応するベクトルとして情報が流れます。回路解析の図では、どの部品が何を読み、どこへ結果を書き込むかに注目すると、複数の層をまたぐ処理を追いやすくなります。
確認日: