ある位置の情報を処理するときに、参照する情報へ重みを付けて組み合わせる仕組みです。Transformerでは、同じ入力列の中で情報同士の関係を扱うSelf-Attentionなどが使われます。
実務で確認すること
例えば「太郎は本を買った。彼はすぐに読み始めた」という文では、離れた語の関係も扱う必要があります。Attentionはこうした文脈の処理を支えます。技術資料に出てくるQuery・Key・Valueは、参照先との関連度や取り出す情報を計算するための表現です。
参考資料
確認日:
LLMの構造
ある位置の情報を処理するときに、参照する情報へ重みを付けて組み合わせる仕組みです。Transformerでは、同じ入力列の中で情報同士の関係を扱うSelf-Attentionなどが使われます。
例えば「太郎は本を買った。彼はすぐに読み始めた」という文では、離れた語の関係も扱う必要があります。Attentionはこうした文脈の処理を支えます。技術資料に出てくるQuery・Key・Valueは、参照先との関連度や取り出す情報を計算するための表現です。
確認日: