RoPEとは

LLMの構造

Rotary Position Embeddingの略。トークンの位置に応じてQueryやKeyのベクトルを回転させ、Attentionの計算に位置情報を取り込む方法です。トークン間の相対的な位置関係を扱うために使われます。

実務で確認すること

文章では、同じ単語でも並び順によって意味が変わります。RoPEは、その位置関係をモデルが計算に使う仕組みの一つです。長い入力への対応を調べる際は、RoPEの拡張方法に加え、対象の長さで行われた評価結果も確認します。

参考資料

確認日:

用語一覧へ戻る