チャンクとは

AIの生成と検索の仕組み

長い文書を、検索やモデルへの入力に使いやすい大きさに区切った単位です。段落・見出し・文字数・トークン数などを手がかりに分割します。

実務で確認すること

区切りが細かすぎると条件や主語が失われ、大きすぎると不要な情報が混ざる場合があります。Web記事の見出しを付ければ、すべてのAIが同じ位置で区切るとは限りません。

参考資料

確認日:

用語一覧へ戻る