Attention(注意機構)とは

LLMの構造

ある位置の情報を処理するときに、参照する情報へ重みを付けて組み合わせる仕組みです。Transformerでは、同じ入力列の中で情報同士の関係を扱うSelf-Attentionなどが使われます。

実務で確認すること

例えば「太郎は本を買った。彼はすぐに読み始めた」という文では、離れた語の関係も扱う必要があります。Attentionはこうした文脈の処理を支えます。技術資料に出てくるQuery・Key・Valueは、参照先との関連度や取り出す情報を計算するための表現です。

参考資料

確認日:

用語一覧へ戻る