言語モデルが文章を処理する際の単位です。単語、単語の一部、文字などに分かれるため、トークン数は文字数や単語数と一致するとは限りません。
実務で確認すること
同じ文章でも分割方法や言語によって数え方が変わります。処理できる長さや利用量を比べるときは、文字数から決めつけず、対象モデルの数え方を確認します。
参考資料
確認日:
AIの生成と検索の仕組み
言語モデルが文章を処理する際の単位です。単語、単語の一部、文字などに分かれるため、トークン数は文字数や単語数と一致するとは限りません。
同じ文章でも分割方法や言語によって数え方が変わります。処理できる長さや利用量を比べるときは、文字数から決めつけず、対象モデルの数え方を確認します。
確認日: