BPEとは

LLMの構造

Byte-Pair Encodingの略。トークン化では、隣り合う単位のうち頻繁に現れる組を繰り返し結合し、語彙を作る方法を指します。学習した結合ルールを使い、新しい文章をトークンへ分割します。

実務で確認すること

単語全体だけでなく、単語の一部や文字列のまとまりを語彙として扱えます。同じ言葉でもモデルの語彙や前処理によって分割が変わるため、トークン数や固有名詞の扱いを確認するときは、対象モデルのトークナイザーを使います。

参考資料

確認日:

用語一覧へ戻る