Rotary Position Embeddingの略。トークンの位置に応じてQueryやKeyのベクトルを回転させ、Attentionの計算に位置情報を取り込む方法です。トークン間の相対的な位置関係を扱うために使われます。
実務で確認すること
文章では、同じ単語でも並び順によって意味が変わります。RoPEは、その位置関係をモデルが計算に使う仕組みの一つです。長い入力への対応を調べる際は、RoPEの拡張方法に加え、対象の長さで行われた評価結果も確認します。
参考資料
確認日:
LLMの構造
Rotary Position Embeddingの略。トークンの位置に応じてQueryやKeyのベクトルを回転させ、Attentionの計算に位置情報を取り込む方法です。トークン間の相対的な位置関係を扱うために使われます。
文章では、同じ単語でも並び順によって意味が変わります。RoPEは、その位置関係をモデルが計算に使う仕組みの一つです。長い入力への対応を調べる際は、RoPEの拡張方法に加え、対象の長さで行われた評価結果も確認します。
確認日: