robots.txtで許可していれば、AIはサイトを読めますか?

施策・技術

許可しているだけでは、実際に本文を取得できるとは限りません。

robots.txtはクローラーへのアクセス方針を伝えるものです。ログインが必要なページ、アクセス制御で拒否されるページ、エラーになるページ、JavaScript実行後にしか本文が出ないページでは、別の理由で取得できないことがあります。

設定だけでなく、重要なURLへのアクセスが成功するか、返された内容に必要な本文があるかを確認しましょう。学習用・検索用など、どのクローラーを許可するかも用途に応じて整理します。取得できても、引用・推薦されることまで保証されるわけではありません。

クローラーのアクセス制御状況を確認する

参考:Google:robots.txtの概要

回答:松下 聡太郎更新: