Byte-Pair Encodingの略。トークン化では、隣り合う単位のうち頻繁に現れる組を繰り返し結合し、語彙を作る方法を指します。学習した結合ルールを使い、新しい文章をトークンへ分割します。
実務で確認すること
単語全体だけでなく、単語の一部や文字列のまとまりを語彙として扱えます。同じ言葉でもモデルの語彙や前処理によって分割が変わるため、トークン数や固有名詞の扱いを確認するときは、対象モデルのトークナイザーを使います。
参考資料
確認日:
LLMの構造
Byte-Pair Encodingの略。トークン化では、隣り合う単位のうち頻繁に現れる組を繰り返し結合し、語彙を作る方法を指します。学習した結合ルールを使い、新しい文章をトークンへ分割します。
単語全体だけでなく、単語の一部や文字列のまとまりを語彙として扱えます。同じ言葉でもモデルの語彙や前処理によって分割が変わるため、トークン数や固有名詞の扱いを確認するときは、対象モデルのトークナイザーを使います。
確認日: