トークンとは

AIの生成と検索の仕組み

言語モデルが文章を処理する際の単位です。単語、単語の一部、文字などに分かれるため、トークン数は文字数や単語数と一致するとは限りません。

実務で確認すること

同じ文章でも分割方法や言語によって数え方が変わります。処理できる長さや利用量を比べるときは、文字数から決めつけず、対象モデルの数え方を確認します。

参考資料

確認日:

用語一覧へ戻る