AIクローラーを止めていないか確認する方法|robots.txtとCDN設定
この記事の要点
- AIクローラーを止めていないかは、robots.txt、CloudflareなどのCDN・WAFの設定、サーバー側のアクセス制限の3か所で確認します。
- AIクローラーには学習用(GPTBot・ClaudeBotなど)と検索・回答用(OAI-SearchBot・Claude-SearchBot・PerplexityBotなど)があり、止めたときの影響が違います。
- リクエッジでもCloudflareで学習用AIクローラーが「許可しない」設定になっていたため、方針を決めたうえで許可に変更しました。
結論:確認するのは「robots.txt」「CDN・WAF」「サーバー」の3か所
ChatGPTやPerplexityに自社のことを聞いても出てこない、あるいは情報が古いままという場合、コンテンツの中身を見直す前に、AIのクローラーがそもそもサイトを読めているかを確認する価値があります。意図しないブロックは、制作時の設定やセキュリティ対策の一環として起こりえます。
確認する場所は次の3つです。
- robots.txt:サイトの直下(例:自社ドメイン/robots.txt)に置かれる、クローラー向けの指示ファイルです。
- CDN・WAFの設定:Cloudflareなどを使っている場合、管理画面の「AIボット」関連の設定で、robots.txtとは別にブロックされていることがあります。
- サーバー側のアクセス制限:.htaccessやセキュリティプラグインなどで、特定のユーザーエージェントやIPアドレスを拒否している場合があります。
このうち見落とされやすいのが2つ目です。サーバー上のrobots.txtには何も書いていないのに、CDN側が自動でブロックの指示を追加している、ということがあります。必ず公開されているURLのrobots.txtをブラウザで開いて確認してください。
主なAIクローラーの名前と役割(学習用と検索用の違い)
AIクローラーは、運営会社ごとに用途別に分かれています。大きく分けると、AIモデルの学習に使うものと、検索や回答のためにページを読むもの、そして利用者の質問をきっかけにページを取りに行くものの3種類です。各社の公式ドキュメントに記載されている内容を整理します。
| 運営 | User-agent名 | 主な用途 | 止めた場合(公式の説明) |
|---|---|---|---|
| OpenAI | GPTBot | 生成AIの基盤モデルの学習 | 学習に使わないでほしい意思表示になる |
| OpenAI | OAI-SearchBot | ChatGPTの検索機能でサイトを表示 | ChatGPTの検索回答に表示されなくなる(ナビゲーション用のリンクは出ることがある) |
| OpenAI | ChatGPT-User | 利用者の質問に応じてページを読む | 利用者の操作によるためrobots.txtが適用されない場合がある |
| Anthropic | ClaudeBot | 生成AIモデルの学習 | 学習用の収集をしない |
| Anthropic | Claude-SearchBot | 検索結果の品質向上のための収集 | 検索結果での表示や正確さが下がる可能性がある |
| Anthropic | Claude-User | 利用者の質問に応じてページを読む | 利用者主導の検索での表示が減る可能性がある |
| Perplexity | PerplexityBot | Perplexityの検索結果にサイトを表示・リンク(基盤モデルの学習には使わない) | 検索結果に表示されにくくなる |
| Perplexity | Perplexity-User | 利用者の質問に応じてページを読む | 利用者の依頼によるため、一般にrobots.txtを無視する |
| Google-Extended | Geminiの学習と、一部のGemini・Vertex AI製品でのグラウンディング | Google検索への掲載や順位には影響しない |
注意したいのはGoogle-Extendedの位置づけです。Googleの公式ドキュメントでは、Google-Extendedは独立したクローラーではなく、robots.txtで使う「制御用のトークン」とされています。また、Google検索への掲載や順位付けには使われないと明記されています。GoogleのAIによる概要(AI Overviews)やAIモードに表示されるための条件は、通常の検索と同じくGooglebotにクロール・インデックスされ、スニペット付きで表示できる状態であることです。
AI検索に表示されることを重視するなら、少なくともGooglebot・OAI-SearchBot・Claude-SearchBot・PerplexityBotのような検索用クローラーは止めないのが基本です。学習用クローラーをどうするかは、次に説明するように会社の方針で決めます。
robots.txtの確認手順
robots.txtは誰でもブラウザで見られます。次の手順で確認できます。
- ブラウザのアドレス欄に「自社ドメイン/robots.txt」と入力して開きます。
- 「User-agent: *」の下に「Disallow: /」がないかを見ます。これはすべてのクローラーにサイト全体を読まないよう指示する書き方です。
- 「User-agent: GPTBot」「User-agent: ClaudeBot」など、AIクローラーの名前が個別に書かれていないかを探し、その下が「Disallow: /」になっていないかを確認します。
- サブドメイン(例:ブログ用のサブドメイン)を使っている場合は、それぞれのrobots.txtも確認します。Anthropicの説明でも、サブドメインごとに設定が必要とされています。
- サーバー上のファイルと、公開URLで表示される内容が違う場合は、CDN側で内容が追加されている可能性があります。
よくある書き方の例
| 書き方 | 意味 |
|---|---|
| User-agent: * / Allow: / | すべてのクローラーにサイト全体を許可 |
| User-agent: GPTBot / Disallow: / | OpenAIの学習用クローラーだけを拒否(ChatGPTの検索用であるOAI-SearchBotは別扱い) |
| User-agent: * / Disallow: / | すべてのクローラーを拒否。検索にもAI検索にも出にくくなる |
robots.txtを直したあと、すぐに反映されるわけではありません。OpenAIは検索結果への反映に約24時間、Perplexityは最大24時間かかることがあると説明しています。また、Googleの説明にあるとおり、robots.txtはクローラーに従ってもらう前提の仕組みで、強制力はありません。
Cloudflareなど CDN・WAF の「AIボットブロック」設定を確認する
Cloudflareを使っているサイトでは、robots.txtとは別に、管理画面でAIクローラーへの対応を設定できます。Cloudflareの公式ドキュメントでは、現在この設定は「AI Crawler and Agent access policies」という名前で、Search(検索)・Agent(エージェント)・Training(学習)の用途ごとに対応を選べるようになっています。
| 選択肢 | 内容 |
|---|---|
| Block | 該当するリクエストをサイト全体でブロック |
| Block on pages with ads | 広告があると判定されたページでだけブロック |
| Allow(do not block) | ブロックしない |
| Disallow(Trainingのみ) | robots.txtで学習用クローラーにアクセスしないよう求める。Bot Preference Syncを有効にすると、学習用クローラーをエッジでもブロック |
Trainingを「Disallow」にしてBot Preference Syncを有効にすると、Cloudflareが管理するrobots.txtの内容が既存のrobots.txtの先頭に追加されます。ドキュメントの例では、GPTBot・ClaudeBot・Google-Extendedなどが拒否の対象として書かれています。サーバー上のrobots.txtを見ても気づけないのはこのためです。
あわせて確認したいのが次の点です。
- AI Crawl Controlのクローラー一覧:クローラーごとに「Allow」「Block」が表示され、個別に変更できます。
- Bot Fight Modeなどのボット対策:Perplexityのドキュメントでは、CloudflareのBot Fight ModeはWAFのカスタムルールで除外できず、正規のクローラーにもチャレンジが出る場合があると説明されています。
- WAFのカスタムルール:過去に誰かが追加したユーザーエージェントの拒否ルールが残っていないか確認します。
なお、Cloudflareのドキュメントでは各用途の初期値は「Allow(do not block)」とされていますが、過去の設定変更で変わっていることがあるため、一度は画面で確かめておくと安心です。
学習用クローラーは許可すべきか:方針の決め方
検索用クローラーを止めないことは多くの企業にとって合理的ですが、学習用クローラーを許可するかどうかは、会社として判断が分かれるところです。OpenAIは、GPTBotとOAI-SearchBotの設定はそれぞれ独立していると説明しており、学習を拒否しながら検索には表示される、という選び方ができます。
| 方針 | 向いているケース | 注意点 |
|---|---|---|
| 検索用も学習用も許可 | 会社名やサービスを広く知ってもらいたいBtoBの受託サービス業など | 公開している内容が学習に使われうることを受け入れる |
| 検索用は許可、学習用は拒否 | 独自の記事やデータそのものが商品になっている企業 | 学習データへの反映が回答にどう影響するかは各社とも詳しく公開していない |
| すべて拒否 | 会員限定の情報など、公開を前提としないページ | AI検索での紹介はほぼ期待できない |
学習を許可すれば推薦される、拒否すれば推薦されない、といった因果関係は公式には示されていません。ここは効果の大小ではなく、自社の情報をどう扱ってほしいかという方針で決めるのが妥当です。
リクエッジでブロック設定が見つかった実例
株式会社リクエッジでは、2026年10月にサイトを全面改修し、AI検索対策を始めました。その過程でCloudflareの設定を確認したところ、学習用AIクローラーが「許可しない」設定になっていました。検索用の設定は許可されていましたが、自分で意図して選んだ設定ではありませんでした。
当社は札幌の小さな会社で、まず社名やサービス内容を正しく知ってもらうことを優先しています。また、公開しているのは誰に読まれても困らないコラムや会社情報です。そこで方針を決めたうえで、学習用も「許可」に変更しました。あわせて、住所表記の統一、構造化データとllms.txtの整備も進めています。
この変更で推薦が増えるかどうかは、まだ判断できる段階ではありません。だからこそ、変更日を記録し、Google AI概要・ChatGPT(ログインなし)・Perplexityに同じ固定質問をして、言及の有無や引用元を定期的に記録する形で確認を続けています。
確認のチェックリスト:①公開URLのrobots.txtを開いた ②「Disallow: /」とAIクローラー名を探した ③CDNのAIボット設定を画面で見た ④WAFのカスタムルールとボット対策を確認した ⑤変更した日と内容を記録した
外部に任せる場合の考え方
CDNやサーバーの管理画面に入れる人が社内にいない場合は、上のチェックリストをそのまま制作会社や管理担当に渡し、現状の画面を共有してもらうだけでも前に進みます。
リクエッジでは、AI検索で自社がどう扱われているかを確認する無料のAI推薦チェックを行っています。クローラー設定や構造化データまで含めて見る詳細診断は3万円〜、測定と改善を続ける月額支援は5万円〜(いずれも税別・目安)です。設定を変えるかどうかの判断材料をそろえたい段階でもご相談いただけます。
よくある質問
robots.txtでGPTBotを拒否すると、ChatGPTの検索に出なくなりますか?
OpenAIの説明では、GPTBotは学習用、OAI-SearchBotはChatGPTの検索用で、設定はそれぞれ独立しています。GPTBotだけを拒否しても、OAI-SearchBotを許可していれば検索での表示とは別に扱われます。検索に出たい場合はOAI-SearchBotを止めないことが重要です。
Google-Extendedを拒否すると、GoogleのAI概要に出なくなりますか?
Googleの公式ドキュメントでは、Google-ExtendedはGoogle検索への掲載や順位付けには影響しないとされています。AI概要やAIモードの表示条件は、Googlebotにインデックスされ、スニペット付きで表示できる状態であることです。Google-ExtendedはGeminiの学習などを制御するためのものです。
robots.txtを直したら、すぐにAIの回答に反映されますか?
すぐには反映されません。OpenAIは約24時間、Perplexityは最大24時間かかることがあると説明しています。さらに、AIの回答に自社が含まれるかどうかは設定以外の要因にも左右されるため、変更日を記録して数週間単位で様子を見るのが現実的です。
Cloudflareを使っているかどうか分からない場合はどうすればよいですか?
サイトの制作会社やドメインの管理担当に確認するのが確実です。Cloudflareを使っている場合は、管理画面のセキュリティ設定にあるAIクローラー関連の項目と、AI Crawl Controlのクローラー一覧を画面で見せてもらうと状況を把握しやすくなります。
参考にした情報
- Overview of OpenAI Crawlers(OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler?(Claude Help Center)
- Perplexity Crawlers(Perplexity)
- Google's common crawlers(Google for Developers)
- AI features and your website(Google Search Central)
- Introduction to robots.txt(Google Search Central)
- AI Crawler and Agent access policies(Cloudflare Docs)
- robots.txt setting / managed robots.txt(Cloudflare Docs)
- Manage AI crawlers(Cloudflare AI Crawl Control Docs)