Quels robots IA existent et comment les autoriser dans robots.txt ?

Les principaux robots IA sont OAI-SearchBot, ChatGPT-User et GPTBot, d'OpenAI ; Claude-SearchBot, Claude-User et ClaudeBot, d'Anthropic ; PerplexityBot et Perplexity-User, de Perplexity ; le jeton Google-Extended, de Google ; et CCBot, de Common Crawl. Pour être cité, autorisez les robots de recherche et d'utilisateur dans robots.txt avec une ligne User-agent et Allow: / pour chacun.

Données clés

OpenAI utilise OAI-SearchBot pour faire apparaître les sites dans les fonctions de recherche de ChatGPT, et GPTBot pour ses modèles de fondation ; les modifications de robots.txt prennent environ 24 heures pour la recherche. (OpenAI: Overview of OpenAI crawlers)
Anthropic indique que bloquer Claude-SearchBot ou Claude-User peut réduire la visibilité d'un site dans les réponses de Claude, tandis que ClaudeBot collecte du contenu qui peut servir à l'entraînement. (Anthropic: Does Anthropic crawl data from the web?)
Perplexity indique que PerplexityBot fait apparaître et relie les sites dans ses résultats de recherche, et qu'il ne sert pas à explorer du contenu pour les modèles de fondation ; les modifications de robots.txt peuvent prendre jusqu'à 24 heures. (Perplexity: Perplexity crawlers)
Google-Extended contrôle l'entraînement et l'ancrage de Gemini, et n'affecte ni l'inclusion ni le classement dans Google Search. (Google Search Central: Google's common crawlers (Google-Extended))
Le robot de Common Crawl s'identifie comme CCBot, et le propriétaire d'un site peut le bloquer avec User-agent: CCBot et Disallow: /. (Common Crawl: CCBot)

Quels robots IA existent et que fait chacun ?

Chaque entreprise d'IA utilise des robots distincts pour la recherche, pour les demandes d'utilisateurs en direct et pour l'entraînement, et robots.txt peut traiter chacun différemment.

Robot	Entreprise	Usage
OAI-SearchBot	OpenAI	Résultats de recherche dans ChatGPT
ChatGPT-User	OpenAI	Actions de l'utilisateur dans ChatGPT et les GPT personnalisés
GPTBot	OpenAI	Entraînement des modèles de fondation
Claude-SearchBot	Anthropic	Indexation pour les résultats de recherche de Claude
Claude-User	Anthropic	Récupération d'une page pour la question d'un utilisateur
ClaudeBot	Anthropic	Contenu qui peut servir à l'entraînement
PerplexityBot	Perplexity	Résultats de recherche dans Perplexity
Perplexity-User	Perplexity	Actions de l'utilisateur dans Perplexity
Google-Extended	Google	Entraînement et ancrage de Gemini (jeton de robots.txt)
CCBot	Common Crawl	Archive ouverte d'exploration du web

Quel robots.txt laisse entrer les robots de recherche et de réponse ?

Ce robots.txt autorise les robots qui placent votre site dans les réponses IA ; ajoutez ou omettez les robots d'entraînement selon votre décision, et remplacez l'adresse du sitemap par la vôtre.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Puis-je bloquer l'entraînement tout en apparaissant dans les réponses IA ?

Oui. Comme OpenAI, Anthropic et Google listent l'entraînement séparément (GPTBot, ClaudeBot, Google-Extended), vous pouvez interdire ceux-là et garder autorisés les robots de recherche et d'utilisateur.

Comment savoir si les robots IA lisent vraiment mon site ?

Consultez les journaux de votre serveur ou un rapport de robots et cherchez leurs user agents. run_audit d'easyIndex vérifie que robots.txt laisse entrer les robots IA, et son relais de robots indique quelles pages chaque robot IA a lues et quand.

Étape par étape

Ouvrez votre robots.txt. Chargez votre-site.com/robots.txt et cherchez les règles Disallow sous User-agent: * ou sous un robot IA.
Choisissez robot par robot. Décidez quels robots de recherche, d'utilisateur et d'entraînement vous autorisez, à partir du tableau ci-dessus.
Ajoutez les règles. Ajoutez une ligne User-agent et Allow: / pour chaque robot voulu, plus votre ligne Sitemap.
Vérifiez le pare-feu. Assurez-vous que votre CDN ou votre protection anti-bots ne défie ni ne bloque les mêmes robots.
Attendez et vérifiez. Laissez environ 24 heures à OpenAI et à Perplexity pour prendre la modification, puis confirmez les lectures dans vos journaux.

Erreurs fréquentes

Un User-agent: * avec Disallow: / oublié depuis la préproduction, qui bloque tous les robots.
Bloquer GPTBot ou ClaudeBot en croyant que cela couvre la recherche ; les robots de recherche sont distincts.
Autoriser les robots dans robots.txt pendant que la protection anti-bots du CDN continue de les bloquer.
Faute de frappe dans le user agent : la règle ne correspond à aucun robot.

Comment easyIndex le résout

run_audit d'easyIndex vérifie que votre robots.txt laisse entrer les robots IA, votre agent de codage le corrige via MCP, puis easyIndex mesure les lectures des robots IA et les visiteurs venus des assistants IA, par page, pour 30 $US par site et par mois, avec 7 jours d'essai gratuit.

Questions fréquentes

Autoriser les robots IA garantit-il que je serai cité ?

Non. Cela rend vos pages lisibles ; qu'un assistant les cite dépend des pages et de la question.

Existe-t-il une règle robots.txt pour Gemini ?

Google-Extended est le jeton qui contrôle l'entraînement et l'ancrage de Gemini ; Googlebot continue de gérer Google Search.

Ai-je aussi besoin de llms.txt ?

Non. robots.txt décide de l'accès ; llms.txt est un fichier facultatif qui indique aux robots les pages principales.

En combien de temps les modifications prennent-elles effet ?

OpenAI parle d'environ 24 heures, et Perplexity d'au plus 24 heures après une mise à jour de robots.txt.

Lire la suite

Dernière vérification le 9 octobre 2026.