Quais robôs de IA existem e como liberar no robots.txt?
Os principais robôs de IA são o OAI-SearchBot, o ChatGPT-User e o GPTBot, da OpenAI; o Claude-SearchBot, o Claude-User e o ClaudeBot, da Anthropic; o PerplexityBot e o Perplexity-User, da Perplexity; o token Google-Extended, do Google; e o CCBot, do Common Crawl. Para ser citado, libere os de busca e de usuário no robots.txt com User-agent e Allow: /.
Fatos
- A OpenAI usa o OAI-SearchBot para mostrar sites na busca do ChatGPT e o GPTBot para seus modelos; mudanças no robots.txt levam cerca de 24 horas para valer na busca. (OpenAI: Overview of OpenAI crawlers)
- A Anthropic afirma que bloquear o Claude-SearchBot ou o Claude-User pode reduzir a visibilidade do site nas respostas do Claude, enquanto o ClaudeBot coleta conteúdo que pode ir para treinamento. (Anthropic: Does Anthropic crawl data from the web?)
- A Perplexity diz que o PerplexityBot mostra e linka sites nos resultados de busca e não é usado para treinar modelos; mudanças no robots.txt podem levar até 24 horas. (Perplexity: Perplexity crawlers)
- O Google-Extended controla o treinamento e o embasamento do Gemini e não afeta a inclusão nem o ranking na Busca do Google. (Google Search Central: Google's common crawlers (Google-Extended))
- O robô do Common Crawl se identifica como CCBot, e o dono do site pode bloqueá-lo com User-agent: CCBot e Disallow: /. (Common Crawl: CCBot)
Quais robôs de IA existem e o que cada um faz?
Cada empresa de IA tem robôs separados para busca, para pedidos de usuário em tempo real e para treinamento, e o robots.txt pode tratar cada um de um jeito.
| Robô | Empresa | Para que serve |
|---|---|---|
| OAI-SearchBot | OpenAI | Resultados de busca no ChatGPT |
| ChatGPT-User | OpenAI | Ações do usuário no ChatGPT e nos GPTs |
| GPTBot | OpenAI | Treinamento de modelos |
| Claude-SearchBot | Anthropic | Indexação para a busca do Claude |
| Claude-User | Anthropic | Abrir páginas para a pergunta do usuário |
| ClaudeBot | Anthropic | Conteúdo que pode ir para treinamento |
| PerplexityBot | Perplexity | Resultados de busca na Perplexity |
| Perplexity-User | Perplexity | Ações do usuário na Perplexity |
| Google-Extended | Treinamento e embasamento do Gemini (token do robots.txt) | |
| CCBot | Common Crawl | Arquivo aberto da web |
Que robots.txt libera os robôs de busca e de resposta?
Este robots.txt libera os robôs que colocam seu site nas respostas de IA; inclua ou deixe de fora os de treinamento como preferir, e troque o endereço do sitemap pelo seu.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / Sitemap: https://www.example.com/sitemap.xml
Dá para bloquear o treinamento e continuar aparecendo nas respostas?
Sim. Como OpenAI, Anthropic e Google separam o treinamento (GPTBot, ClaudeBot, Google-Extended), você pode bloquear esses e manter liberados os de busca e de usuário.
Como sei se os robôs de IA estão mesmo lendo meu site?
Procure os user agents nos logs do servidor ou num relatório de robôs. O run_audit do easyIndex confere se o robots.txt libera os robôs de IA, e o encaminhador de robôs mostra quais páginas cada robô leu e quando.
Passo a passo
- Abra seu robots.txt. Acesse seusite.com.br/robots.txt e procure regras Disallow em User-agent: * ou em algum robô de IA.
- Escolha robô por robô. Decida quais robôs de busca, de usuário e de treinamento vai liberar, usando a tabela acima.
- Inclua as regras. Adicione uma linha User-agent e Allow: / para cada robô, mais a linha do Sitemap.
- Confira o firewall. Garanta que a CDN ou a proteção contra bots não desafia nem bloqueia esses mesmos robôs.
- Espere e confirme. Dê cerca de 24 horas para OpenAI e Perplexity lerem a mudança e confirme as leituras nos logs.
Erros comuns
- Um User-agent: * com Disallow: / esquecido do ambiente de testes, que bloqueia todos os robôs.
- Bloquear o GPTBot ou o ClaudeBot achando que isso cobre a busca; os robôs de busca são outros.
- Liberar no robots.txt enquanto a proteção contra bots da CDN continua bloqueando.
- Escrever o nome do robô com erro de digitação, e a regra não vale para ninguém.
Como o easyIndex resolve
O run_audit do easyIndex confere se o seu robots.txt libera os robôs de IA, seu agente de código corrige via MCP, e o easyIndex mede as leituras de robôs de IA e os visitantes vindos de IA por página, por R$ 57 por site ao mês, com 7 dias grátis.
Perguntas frequentes
Liberar os robôs de IA garante que vou ser citado?
Não. Liberar deixa suas páginas legíveis; ser citado depende das páginas e da pergunta.
Existe regra de robots.txt para o Gemini?
O Google-Extended é o token que controla treinamento e embasamento do Gemini; a Busca do Google continua com o Googlebot.
Preciso de llms.txt também?
Não. O robots.txt decide o acesso; o llms.txt é um arquivo opcional que aponta as páginas principais.
Em quanto tempo a mudança vale?
A OpenAI fala em cerca de 24 horas e a Perplexity em até 24 horas depois da atualização do robots.txt.
Continue lendo
- Como o easyIndex funciona, do que eu preciso e quanto tempo até ver resultados?
- Quanto custa o easyIndex?
- llms.txt funciona?
- Como fazer o ChatGPT recomendar a minha empresa?
- Como fazer o Claude recomendar minha empresa?
- Como medir os visitantes que chegam do ChatGPT e de outros assistentes de IA?
Verificado em .