¿Qué bots de IA existen y cómo los permito en robots.txt?
Los principales bots de IA son OAI-SearchBot, ChatGPT-User y GPTBot, de OpenAI; Claude-SearchBot, Claude-User y ClaudeBot, de Anthropic; PerplexityBot y Perplexity-User, de Perplexity; el token Google-Extended, de Google; y CCBot, de Common Crawl. Para que te citen, permite los de búsqueda y de usuario en robots.txt con User-agent y Allow: /.
Datos
- OpenAI usa OAI-SearchBot para mostrar sitios en la búsqueda de ChatGPT y GPTBot para sus modelos; los cambios en robots.txt tardan unas 24 horas en aplicarse a la búsqueda. (OpenAI: Overview of OpenAI crawlers)
- Anthropic afirma que bloquear Claude-SearchBot o Claude-User puede reducir la visibilidad de un sitio en las respuestas de Claude, mientras que ClaudeBot recopila contenido que puede usarse para entrenar. (Anthropic: Does Anthropic crawl data from the web?)
- Perplexity dice que PerplexityBot muestra y enlaza sitios en sus resultados de búsqueda y no se usa para entrenar modelos; los cambios en robots.txt pueden tardar hasta 24 horas. (Perplexity: Perplexity crawlers)
- Google-Extended controla el entrenamiento y la fundamentación de Gemini y no afecta la inclusión ni el ranking en la Búsqueda de Google. (Google Search Central: Google's common crawlers (Google-Extended))
- El rastreador de Common Crawl se identifica como CCBot, y el dueño del sitio puede bloquearlo con User-agent: CCBot y Disallow: /. (Common Crawl: CCBot)
¿Qué bots de IA existen y qué hace cada uno?
Cada empresa de IA usa bots distintos para búsqueda, para peticiones de usuarios en tiempo real y para entrenamiento, y robots.txt puede tratar cada uno por separado.
| Bot | Empresa | Para qué sirve |
|---|---|---|
| OAI-SearchBot | OpenAI | Resultados de búsqueda en ChatGPT |
| ChatGPT-User | OpenAI | Acciones del usuario en ChatGPT y los GPT |
| GPTBot | OpenAI | Entrenamiento de modelos |
| Claude-SearchBot | Anthropic | Indexación para la búsqueda de Claude |
| Claude-User | Anthropic | Abrir páginas para la consulta del usuario |
| ClaudeBot | Anthropic | Contenido que puede usarse para entrenar |
| PerplexityBot | Perplexity | Resultados de búsqueda en Perplexity |
| Perplexity-User | Perplexity | Acciones del usuario en Perplexity |
| Google-Extended | Entrenamiento y fundamentación de Gemini (token de robots.txt) | |
| CCBot | Common Crawl | Archivo abierto de la web |
¿Qué robots.txt permite los bots de búsqueda y de respuesta?
Este robots.txt permite los bots que llevan tu sitio a las respuestas de IA; añade u omite los de entrenamiento según decidas, y cambia la dirección del sitemap por la tuya.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / Sitemap: https://www.example.com/sitemap.xml
¿Puedo bloquear el entrenamiento y seguir apareciendo en las respuestas?
Sí. Como OpenAI, Anthropic y Google separan el entrenamiento (GPTBot, ClaudeBot, Google-Extended), puedes bloquear esos y mantener permitidos los de búsqueda y de usuario.
¿Cómo sé si los bots de IA realmente leen mi sitio?
Busca sus user agents en los registros del servidor o en un informe de bots. El run_audit de easyIndex comprueba que robots.txt admite a los bots de IA, y su reenviador de bots muestra qué páginas leyó cada bot y cuándo.
Paso a paso
- Abre tu robots.txt. Entra a tusitio.com/robots.txt y busca reglas Disallow bajo User-agent: * o bajo algún bot de IA.
- Elige bot por bot. Decide qué bots de búsqueda, de usuario y de entrenamiento permites, con la tabla de arriba.
- Añade las reglas. Agrega una línea User-agent y Allow: / por cada bot, además de la línea Sitemap.
- Revisa el firewall. Asegúrate de que tu CDN o tu protección antibots no desafíe ni bloquee a esos mismos bots.
- Espera y confirma. Deja unas 24 horas para que OpenAI y Perplexity lean el cambio y confirma las lecturas en tus registros.
Errores comunes
- Un User-agent: * con Disallow: / olvidado del entorno de pruebas, que bloquea a todos los bots.
- Bloquear GPTBot o ClaudeBot creyendo que eso cubre la búsqueda; los bots de búsqueda son otros.
- Permitirlos en robots.txt mientras la protección antibots de la CDN sigue bloqueándolos.
- Escribir mal el nombre del bot, así la regla no aplica a nadie.
Cómo lo resuelve easyIndex
El run_audit de easyIndex comprueba que tu robots.txt admite a los bots de IA, tu agente de código lo corrige por MCP, y easyIndex mide las lecturas de bots de IA y los visitantes desde IA por página, por US$ 30 por sitio al mes, con 7 días gratis.
Preguntas frecuentes
¿Permitir los bots de IA garantiza que me citen?
No. Permitirlos hace que tus páginas sean legibles; que te citen depende de las páginas y de la pregunta.
¿Hay una regla de robots.txt para Gemini?
Google-Extended es el token que controla el entrenamiento y la fundamentación de Gemini; la Búsqueda de Google sigue con Googlebot.
¿También necesito llms.txt?
No. robots.txt decide el acceso; llms.txt es un archivo opcional que señala las páginas principales.
¿Cuánto tarda en aplicarse un cambio?
OpenAI habla de unas 24 horas y Perplexity de hasta 24 horas tras actualizar robots.txt.
Sigue leyendo
- ¿Cómo funciona easyIndex, qué necesito y cuánto tardan los resultados?
- ¿Cuánto cuesta easyIndex?
- ¿Funciona llms.txt?
- ¿Cómo logro que ChatGPT recomiende mi empresa?
- ¿Cómo logro que Claude recomiende mi empresa?
- ¿Cómo mido los visitantes que llegan de ChatGPT y otros asistentes de IA?
Verificado el .