サーバーログでAIクローラーを見つけたら、何を確認すべきですか?

施策・技術

ボットの正体・アクセス先・返した結果を確認します。アクセス件数だけでなく、重要な本文を正常に取得できているかを見ることが大切です。

  • 正体と用途:User-Agentだけで決めず、提供元が公開するIP範囲などと照合する。検索用・学習用・ユーザー操作も区別する。
  • アクセス先:重要なサービスページに来ているか、robots.txtや古いURLだけではないかを確認する。
  • 応答結果:403・404・429・5xx、過剰なリダイレクト、遅い応答がないかを見る。
  • 返した内容:200でも、空の画面・ログイン画面・ボット確認画面を返していないか、本文や応答サイズを確認する。

ログに本文は通常残らないため、レスポンスの内容は別の取得確認と組み合わせます。CDNやWAFで先に止めている場合は、アプリケーションのログだけでは見落とすので、そちらの記録も確認しましょう。

Googleは公式IP範囲やDNSによる検証方法を案内し、OpenAIも用途別のIP範囲を公開しています。ボット名を名乗る文字列だけを根拠に、広くアクセスを許可しないことが重要です。

ログは取得の不具合を探すために使い、AIの引用・推薦・ユーザーの流入とは別に集計します。

参考:Google:クローラーからのリクエストを検証する方法

参考:OpenAI:ボット別の用途と公開IP範囲

回答:松下 聡太郎更新: