トークナイザーとは

LLMの構造

文章をトークンという単位に分け、それぞれをモデルが扱うIDへ変換する仕組みです。生成されたトークンIDを文章に戻す処理にも使われます。分割の方法や語彙はモデルによって異なります。

実務で確認すること

同じ日本語の文章でも、使うトークナイザーによってトークン数が変わります。入力上限や利用料金を見積もる際は、対象モデルに対応する方法で数えます。固有名詞や記号がどのように分割されるかを見ると、文字数とトークン数の違いも把握できます。

参考資料

確認日:

用語一覧へ戻る