Quali crawler AI esistono e come li consento in robots.txt?
I principali crawler AI sono OAI-SearchBot, ChatGPT-User e GPTBot di OpenAI; Claude-SearchBot, Claude-User e ClaudeBot di Anthropic; PerplexityBot e Perplexity-User di Perplexity; il token Google-Extended di Google e CCBot di Common Crawl. Per essere citato, consenti in robots.txt i crawler di ricerca e di utente con una riga User-agent e Allow: / per ciascuno.
Dati
- OpenAI usa OAI-SearchBot per far comparire i siti nelle funzioni di ricerca di ChatGPT e GPTBot per i suoi modelli di base; le modifiche a robots.txt richiedono circa 24 ore per essere applicate alla ricerca. (OpenAI: Overview of OpenAI crawlers)
- Anthropic afferma che bloccare Claude-SearchBot o Claude-User può ridurre la visibilità di un sito nelle risposte di Claude, mentre ClaudeBot raccoglie contenuti che possono servire all'addestramento. (Anthropic: Anthropic raccoglie dati dal web? Come bloccare il crawler)
- Perplexity dice che PerplexityBot fa comparire e collega i siti nei suoi risultati di ricerca e non serve a raccogliere contenuti per i modelli di base dell'AI; le modifiche a robots.txt possono richiedere fino a 24 ore. (Perplexity: i crawler di Perplexity)
- Google-Extended controlla l'addestramento e il grounding di Gemini e non incide sull'inclusione o sul posizionamento in Google Search. (Google Search Central: crawler comuni di Google (Google-Extended))
- Il crawler di Common Crawl si identifica come CCBot, e i titolari dei siti possono bloccarlo con User-agent: CCBot e Disallow: /. (Common Crawl: CCBot)
Quali crawler AI esistono e cosa fa ciascuno?
Ogni azienda AI usa crawler separati per la ricerca, per le richieste degli utenti in tempo reale e per l'addestramento, e robots.txt può trattarli in modo diverso.
| Crawler | Azienda | Scopo |
|---|---|---|
| OAI-SearchBot | OpenAI | Risultati di ricerca in ChatGPT |
| ChatGPT-User | OpenAI | Azioni dell'utente in ChatGPT e nei GPT personalizzati |
| GPTBot | OpenAI | Addestramento dei modelli di base |
| Claude-SearchBot | Anthropic | Indicizzazione per i risultati di ricerca di Claude |
| Claude-User | Anthropic | Recupero delle pagine per la domanda di un utente |
| ClaudeBot | Anthropic | Contenuti che possono servire all'addestramento |
| PerplexityBot | Perplexity | Risultati di ricerca in Perplexity |
| Perplexity-User | Perplexity | Azioni dell'utente dentro Perplexity |
| Google-Extended | Addestramento e grounding di Gemini (un token di robots.txt) | |
| CCBot | Common Crawl | Archivio aperto della scansione del web |
Quale robots.txt ammette i crawler di ricerca e di risposta?
Questo robots.txt consente i crawler che mettono il tuo sito nelle risposte AI; aggiungi o ometti i crawler di addestramento come decidi tu, e sostituisci l'indirizzo della sitemap con il tuo.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / Sitemap: https://www.example.com/sitemap.xml
Posso bloccare l'addestramento e comparire comunque nelle risposte AI?
Sì. Poiché OpenAI, Anthropic e Google elencano l'addestramento a parte (GPTBot, ClaudeBot, Google-Extended), puoi vietare quelli e lasciare consentiti i crawler di ricerca e di utente.
Come faccio a sapere che i crawler AI leggono davvero il mio sito?
Controlla i log del server o un report dei crawler per i loro user agent. run_audit di easyIndex verifica che robots.txt ammetta i crawler AI, e il suo inoltro dei crawler mostra quali pagine ha letto ciascun crawler AI e quando.
Passo dopo passo
- Apri il tuo robots.txt. Carica yoursite.com/robots.txt e cerca regole Disallow sotto User-agent: * o sotto un crawler AI.
- Scegli per ogni crawler. Decidi quali crawler di ricerca, di utente e di addestramento consentire, usando la tabella qui sopra.
- Aggiungi le regole. Aggiungi una riga User-agent e Allow: / per ogni crawler che vuoi, più la riga Sitemap.
- Controlla il firewall. Assicurati che il CDN o la protezione dai bot non sfidino o blocchino gli stessi crawler.
- Attendi e verifica. Concedi circa 24 ore perché OpenAI e Perplexity recepiscano la modifica, poi conferma le letture dei crawler nei log.
Errori comuni
- Un User-agent: * con Disallow: / lasciato dall'ambiente di staging, che blocca ogni crawler.
- Bloccare GPTBot o ClaudeBot e pensare che questo copra anche la ricerca; i crawler di ricerca sono separati.
- Consentire i crawler in robots.txt mentre la protezione dai bot del CDN li blocca ancora.
- Scrivere lo user agent con un errore di battitura, così la regola non corrisponde a nulla.
Come lo risolve easyIndex
run_audit di easyIndex verifica che il tuo robots.txt ammetta i crawler AI, il tuo agente di codifica lo corregge via MCP, e poi easyIndex misura le letture dei crawler AI e i visitatori degli assistenti AI per pagina, a US$ 30 al mese per sito con una prova gratuita di 7 giorni.
Domande frequenti
Consentire i crawler AI garantisce una citazione?
No. Rende leggibili le tue pagine; se un assistente le cita dipende dalle pagine e dalla domanda.
C'è una regola di robots.txt per Gemini?
Google-Extended è il token che controlla l'addestramento e il grounding di Gemini; Googlebot continua a gestire Google Search.
Mi serve anche llms.txt?
No. robots.txt decide l'accesso; llms.txt è un file facoltativo che indica ai crawler le pagine principali.
Quanto ci vogliono perché le modifiche valgano?
OpenAI parla di circa 24 ore e Perplexity di fino a 24 ore dopo un aggiornamento di robots.txt.
Continua a leggere
- Come funziona easyIndex, cosa mi serve e quanto tempo ci vuole per vedere i risultati?
- Quanto costa easyIndex?
- llms.txt funziona?
- Come faccio a far consigliare la mia azienda da ChatGPT?
- Come faccio a farmi consigliare da Claude?
- Come misuro i visitatori che arrivano da ChatGPT e da altri assistenti AI?
Verificato il .