Docs

Cloudflare blocca ChatGPT e altri crawler AI sul mio sito?

Potrebbe. Cloudflare ha cambiato l’impostazione predefinita per bloccare i crawler AI nel luglio 2025 e, dal 15 settembre 2026, i nuovi domini bloccano i bot di addestramento e di agente sulle pagine con pubblicità. Controlla Security Settings, Configure AI bot policies: consenti le categorie Search e Agent, così ChatGPT, Claude e Perplexity possono leggerti e citarti, e blocca Training se preferisci.

Dati

  • Il 1° luglio 2025 Cloudflare ha annunciato che avrebbe cambiato l’impostazione predefinita per bloccare i crawler AI, a meno che non paghino i creatori per i contenuti. (Cloudflare: Content Independence Day (Jul 2025))
  • La documentazione di Cloudflare dice che dal 15 settembre 2026 i nuovi domini bloccano i bot classificati come Training o Agent sulle pagine che mostrano pubblicità, mentre Search resta consentito. (Cloudflare docs: Block AI bots)
  • Cloudflare afferma che i crawler che combinano Search e Training sono bloccati da ogni configurazione pensata per bloccare l’addestramento AI. (Cloudflare docs: Block AI bots)
  • OpenAI afferma che i siti esclusi da OAI-SearchBot non compaiono nelle risposte della ricerca di ChatGPT, mentre bloccare GPTBot esclude solo dall’addestramento. (OpenAI: Overview of OpenAI crawlers)
  • Anthropic usa tre bot: ClaudeBot per l’addestramento, Claude-User per le richieste degli utenti e Claude-SearchBot per l’indicizzazione della ricerca; bloccare gli ultimi due può ridurre la tua visibilità su Claude. (Anthropic: Does Anthropic crawl data from the web?)

Dove vedo cosa blocca Cloudflare?

Nel pannello di Cloudflare apri Security Settings e poi Configure AI bot policies. Ogni categoria, Search, Agent e Training, ha tre opzioni: Block, Block on pages with ads e Allow. L’interruttore più vecchio, Block AI bots, è in fase di dismissione.

Quali crawler AI dovrei consentire per essere citato?

Consenti i crawler che rispondono agli utenti e costruiscono indici di ricerca; quelli di addestramento sono una decisione a parte.

CrawlerScopoCategoria CloudflarePer essere citato
OAI-SearchBotRicerca di ChatGPTSearchConsenti
ChatGPT-UserRecupera la pagina che un utente chiedeAgentConsenti
Claude-SearchBotIndicizzazione della ricerca di ClaudeSearchConsenti
Claude-UserRecupera la pagina chiesta da un utente di ClaudeAgentConsenti
GPTBot, ClaudeBotAddestramento dei modelliTrainingA tua scelta

Il robots.txt conta ancora se uso Cloudflare?

Sì: le regole di Cloudflare decidono chi passa dalla rete, e robots.txt dice a ogni crawler cosa può leggere. Devono concordare, altrimenti vince la regola più restrittiva.

# Crawler di ricerca e di richiesta utente: consentiti
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Crawler di addestramento: a tua scelta
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Perché bloccare l’addestramento può bloccare anche la ricerca?

Perché alcuni crawler fanno entrambe le cose. Cloudflare valuta un crawler misto di Search e Training secondo entrambe le politiche, quindi bloccare Training su tutte le pagine può escluderlo anche con Search consentito. Controlla Search dopo aver cambiato Training.

Come confermo che i crawler AI tornano a leggere il mio sito?

Guarda le loro visite dopo la modifica, non solo l’impostazione. easyIndex registra ogni lettura dei crawler AI per pagina, così vedi quando OAI-SearchBot o Claude-SearchBot tornano e noti se le letture si fermano.

Passo dopo passo

  1. Apri le politiche per i bot AI. In Cloudflare vai su Security Settings, Configure AI bot policies, e annota l’opzione impostata per ogni categoria.
  2. Consenti Search e Agent. Imposta Search e Agent su Allow, così passano gli indici di ricerca e le richieste degli utenti di ChatGPT, Claude e Perplexity.
  3. Decidi su Training. Blocca o consenti Training come preferisci, poi verifica che Search resti consentito per i crawler misti.
  4. Allinea robots.txt. Chiedi al tuo agente di codifica di consentire OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User e PerplexityBot in robots.txt.
  5. Controlla le letture dei crawler. Verifica che le letture di questi crawler compaiano nei giorni successivi; OpenAI afferma che le modifiche a robots.txt richiedono circa 24 ore.

Errori comuni

  • Correggere robots.txt mentre Cloudflare blocca ancora il crawler a livello di rete.
  • Bloccare Training su tutte le pagine senza verificare cosa succede ai crawler misti.
  • Consentire GPTBot e bloccare OAI-SearchBot, che ti esclude dalla ricerca di ChatGPT.
  • Fidarsi dell’impostazione senza verificare che le letture dei crawler riprendano davvero.

Come lo risolve easyIndex

easyIndex registra quali crawler AI leggono ogni pagina e mostra quando smettono, così un blocco su Cloudflare diventa visibile; il tuo agente di codifica corregge robots.txt tramite MCP e easyIndex lo verifica sul sito online. US$ 30 per sito al mese, con 7 giorni di prova gratuita.

Domande frequenti

Cloudflare blocca anche Googlebot?

Googlebot scansiona per la ricerca e per altri usi, e Cloudflare valuta anche i crawler misti secondo la politica Training; controlla quell’impostazione se il traffico da Google cala.

Il valore predefinito è lo stesso per domini vecchi e nuovi?

No. I valori del 15 settembre 2026 valgono per i domini nuovi; i domini vecchi mantengono le opzioni già impostate, quindi controlla il tuo.

Serve pay per crawl di Cloudflare per essere citato?

No. Pay per crawl serve a chi vuole far pagare i crawler; per essere citato basta lasciar entrare i crawler di ricerca e di agente.

Quanto tempo prima che ChatGPT veda il mio sito dopo lo sblocco?

OpenAI afferma che i suoi sistemi seguono le modifiche a robots.txt in circa 24 ore; essere citato dopo dipende dalle tue pagine.

Continua a leggere

Verificato il .

Crawler AI di Cloudflare: blocca ChatGPT?