Cloudflare bloque-t-il ChatGPT et les autres crawlers IA sur mon site ?
C'est possible. Cloudflare a changé son réglage par défaut en juillet 2025 pour bloquer les crawlers IA, et depuis le 15 septembre 2026 les nouveaux domaines bloquent les robots d'entraînement et d'agent sur les pages avec publicité. Ouvrez Security Settings, puis Configure AI bot policies : autorisez les catégories Search et Agent pour que ChatGPT, Claude et Perplexity puissent vous lire et vous citer, et bloquez Training si vous le préférez.
Données clés
- Le 1er juillet 2025, Cloudflare a annoncé changer son réglage par défaut pour bloquer les crawlers IA, sauf s'ils paient les créateurs de contenu. (Cloudflare : Content Independence Day (juillet 2025))
- La documentation de Cloudflare indique qu'à partir du 15 septembre 2026, les nouveaux domaines bloquent les robots classés Training ou Agent sur les pages qui affichent de la publicité, tandis que Search reste autorisé. (Documentation Cloudflare : bloquer les robots IA)
- Cloudflare indique que les crawlers qui combinent Search et Training sont bloqués par toute configuration destinée à bloquer l'entraînement de l'IA. (Documentation Cloudflare : bloquer les robots IA)
- OpenAI indique que les sites exclus d'OAI-SearchBot n'apparaîtront pas dans les réponses de la recherche ChatGPT, alors que bloquer GPTBot ne les exclut que de l'entraînement. (OpenAI: Overview of OpenAI crawlers)
- Anthropic exploite trois robots : ClaudeBot pour l'entraînement, Claude-User pour les requêtes des utilisateurs et Claude-SearchBot pour l'indexation de recherche ; bloquer les deux derniers peut réduire votre visibilité dans Claude. (Anthropic : Anthropic explore-t-il le web, et comment le bloquer ?)
Où voir ce que Cloudflare bloque ?
Dans le tableau de bord Cloudflare, ouvrez Security Settings, puis Configure AI bot policies. Chaque catégorie, Search, Agent et Training, propose trois options : Block, Block on pages with ads et Allow. L'ancien interrupteur Block AI bots est en cours de suppression.
Quels crawlers IA faut-il autoriser pour être cité ?
Autorisez les crawlers qui répondent aux utilisateurs et alimentent les index de recherche ; les crawlers d'entraînement relèvent d'une décision distincte.
| Crawler | Rôle | Catégorie Cloudflare | Pour être cité |
|---|---|---|---|
| OAI-SearchBot | Recherche ChatGPT | Search | Autoriser |
| ChatGPT-User | Récupère une page sur laquelle un utilisateur pose une question | Agent | Autoriser |
| Claude-SearchBot | Indexation de recherche de Claude | Search | Autoriser |
| Claude-User | Récupère une page demandée par un utilisateur de Claude | Agent | Autoriser |
| GPTBot, ClaudeBot | Entraînement des modèles | Training | À votre choix |
Le robots.txt compte-t-il encore si j'utilise Cloudflare ?
Oui : les règles de Cloudflare décident qui passe par le réseau, et le robots.txt indique à chaque crawler ce qu'il peut lire. Les deux doivent être d'accord, sinon la règle la plus restrictive s'applique.
# Robots de recherche et de requêtes d'utilisateurs : autorisés User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / # Robots d'entraînement : à votre choix User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: /
Pourquoi bloquer l'entraînement peut-il aussi bloquer la recherche ?
Parce que certains crawlers font les deux. Cloudflare évalue un crawler mixte Search et Training selon les deux politiques : bloquer Training sur toutes les pages peut donc l'exclure même si Search est autorisé. Vérifiez la catégorie Search après avoir modifié Training.
Comment confirmer que les crawlers IA lisent de nouveau mon site ?
Regardez leurs visites après le changement, pas seulement le réglage. easyIndex enregistre chaque lecture de crawler IA page par page : vous voyez quand OAI-SearchBot ou Claude-SearchBot revient, et vous remarquez si les lectures s'arrêtent.
Étape par étape
- Ouvrez les règles pour les robots IA. Dans Cloudflare, allez dans Security Settings, Configure AI bot policies, et notez l'option choisie pour chaque catégorie.
- Autorisez Search et Agent. Réglez Search et Agent sur Allow pour que les index de recherche et les requêtes des utilisateurs de ChatGPT, Claude et Perplexity passent.
- Décidez pour Training. Bloquez ou autorisez Training comme vous le souhaitez, puis vérifiez que Search reste autorisé pour les crawlers mixtes.
- Alignez le robots.txt. Demandez à votre agent de codage d'autoriser OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User et PerplexityBot dans le robots.txt.
- Surveillez les lectures des crawlers. Vérifiez que ces crawlers apparaissent dans les jours suivants ; OpenAI indique que les modifications du robots.txt prennent environ 24 heures.
Erreurs fréquentes
- Corriger le robots.txt alors que Cloudflare bloque encore le crawler au niveau du réseau.
- Bloquer Training sur toutes les pages sans vérifier ce qui arrive aux crawlers mixtes.
- Autoriser GPTBot tout en bloquant OAI-SearchBot, ce qui vous exclut de la recherche ChatGPT.
- Faire confiance au réglage sans vérifier que les lectures des crawlers reviennent vraiment.
Comment easyIndex le résout
easyIndex enregistre quels crawlers IA lisent chaque page et montre quand ils s'arrêtent, de sorte qu'un blocage chez Cloudflare est visible ; votre agent de codage corrige le robots.txt via MCP, et easyIndex le vérifie en ligne. 30 $US par site et par mois, avec un essai gratuit de 7 jours.
Questions fréquentes
Cloudflare bloque-t-il aussi Googlebot ?
Googlebot explore pour la recherche et d'autres usages, et Cloudflare traite aussi les crawlers mixtes selon la politique Training ; vérifiez ce réglage si le trafic Google baisse.
Le réglage par défaut est-il le même sur les anciens et les nouveaux domaines ?
Non. Les valeurs par défaut de Cloudflare du 15 septembre 2026 s'appliquent aux nouveaux domaines ; les anciens conservent les options déjà définies, vérifiez donc les vôtres.
Faut-il activer le pay per crawl de Cloudflare pour être cité ?
Non. Le pay per crawl sert aux éditeurs qui veulent faire payer les crawlers ; pour être cité, il suffit de laisser passer les crawlers de recherche et d'agent.
Combien de temps faut-il à ChatGPT pour voir mon site après un déblocage ?
OpenAI indique que ses systèmes suivent les modifications du robots.txt en environ 24 heures ; être cité ensuite dépend de vos pages.
Lire la suite
- Comment fonctionne easyIndex, de quoi ai-je besoin et combien de temps avant les résultats ?
- Combien coûte easyIndex ?
- Quels robots IA existent et comment les autoriser dans robots.txt ?
- ChatGPT et Claude peuvent-ils voir mon site en JavaScript ?
- Comment faire recommander mon entreprise par ChatGPT ?
- Comment mesurer les visiteurs venus de ChatGPT et des autres assistants IA ?
Dernière vérification le .