robots.txtとは

情報を届けるための技術

対応するクローラーに、サイト内のどこを巡回してよいかなどを伝えるファイル。情報を秘密にするためのアクセス制御ではありません。

用語一覧へ戻る