ボットの正体・アクセス先・返した結果を確認します。アクセス件数だけでなく、重要な本文を正常に取得できているかを見ることが大切です。
- 正体と用途:User-Agentだけで決めず、提供元が公開するIP範囲などと照合する。検索用・学習用・ユーザー操作も区別する。
- アクセス先:重要なサービスページに来ているか、robots.txtや古いURLだけではないかを確認する。
- 応答結果:403・404・429・5xx、過剰なリダイレクト、遅い応答がないかを見る。
- 返した内容:200でも、空の画面・ログイン画面・ボット確認画面を返していないか、本文や応答サイズを確認する。
ログに本文は通常残らないため、レスポンスの内容は別の取得確認と組み合わせます。CDNやWAFで先に止めている場合は、アプリケーションのログだけでは見落とすので、そちらの記録も確認しましょう。
Googleは公式IP範囲やDNSによる検証方法を案内し、OpenAIも用途別のIP範囲を公開しています。ボット名を名乗る文字列だけを根拠に、広くアクセスを許可しないことが重要です。
ログは取得の不具合を探すために使い、AIの引用・推薦・ユーザーの流入とは別に集計します。