長い文書を、検索やモデルへの入力に使いやすい大きさに区切った単位です。段落・見出し・文字数・トークン数などを手がかりに分割します。
実務で確認すること
区切りが細かすぎると条件や主語が失われ、大きすぎると不要な情報が混ざる場合があります。Web記事の見出しを付ければ、すべてのAIが同じ位置で区切るとは限りません。
参考資料
確認日:
AIの生成と検索の仕組み
長い文書を、検索やモデルへの入力に使いやすい大きさに区切った単位です。段落・見出し・文字数・トークン数などを手がかりに分割します。
区切りが細かすぎると条件や主語が失われ、大きすぎると不要な情報が混ざる場合があります。Web記事の見出しを付ければ、すべてのAIが同じ位置で区切るとは限りません。
確認日: