文章をトークンという単位に分け、それぞれをモデルが扱うIDへ変換する仕組みです。生成されたトークンIDを文章に戻す処理にも使われます。分割の方法や語彙はモデルによって異なります。
実務で確認すること
同じ日本語の文章でも、使うトークナイザーによってトークン数が変わります。入力上限や利用料金を見積もる際は、対象モデルに対応する方法で数えます。固有名詞や記号がどのように分割されるかを見ると、文字数とトークン数の違いも把握できます。
参考資料
確認日:
LLMの構造
文章をトークンという単位に分け、それぞれをモデルが扱うIDへ変換する仕組みです。生成されたトークンIDを文章に戻す処理にも使われます。分割の方法や語彙はモデルによって異なります。
同じ日本語の文章でも、使うトークナイザーによってトークン数が変わります。入力上限や利用料金を見積もる際は、対象モデルに対応する方法で数えます。固有名詞や記号がどのように分割されるかを見ると、文字数とトークン数の違いも把握できます。
確認日: