OpenAIが、生成AIの基盤モデルの改善や学習に利用する可能性のあるコンテンツを収集するためのクローラーです。Webサイト側はrobots.txtのGPTBot向けルールでアクセスを制御できます。
実務で確認すること
学習用のクロールに対する方針を決め、robots.txtとサーバー側のアクセス制御を確認します。OpenAIは検索用のOAI-SearchBotも提供しているため、用途ごとに許可・拒否の設定を管理します。
参考資料
確認日:
情報を届けるための技術
OpenAIが、生成AIの基盤モデルの改善や学習に利用する可能性のあるコンテンツを収集するためのクローラーです。Webサイト側はrobots.txtのGPTBot向けルールでアクセスを制御できます。
学習用のクロールに対する方針を決め、robots.txtとサーバー側のアクセス制御を確認します。OpenAIは検索用のOAI-SearchBotも提供しているため、用途ごとに許可・拒否の設定を管理します。
確認日: