Webへのアクセスに使われるブラウザーやプログラムを指す言葉です。HTTPのUser-Agentヘッダーには、その名称などを示す文字列が送られます。
実務で確認すること
文字列だけで正規のクローラーだと断定することはできません。アクセス元の確認には、運営元が公開するIP範囲や検証方法も使います。robots.txt内の指定とログの文字列の違いにも注意します。
参考資料
確認日:
情報を届けるための技術
Webへのアクセスに使われるブラウザーやプログラムを指す言葉です。HTTPのUser-Agentヘッダーには、その名称などを示す文字列が送られます。
文字列だけで正規のクローラーだと断定することはできません。アクセス元の確認には、運営元が公開するIP範囲や検証方法も使います。robots.txt内の指定とログの文字列の違いにも注意します。
確認日: