Docs

Vercel blocca GPTBot, ClaudeBot e gli altri crawler AI sul mio sito?

Non per impostazione predefinita. Il set di regole gestite AI Bots di Vercel è disattivato finché qualcuno non lo attiva, e Bot Protection e Attack Mode lasciano passare i bot verificati come GPTBot e ClaudeBot. Il tuo sito blocca i crawler AI su Vercel solo se il set AI Bots è impostato su Deny, se una regola personalizzata del firewall corrisponde ai loro nomi o se il robots.txt li esclude.

Dati

Dove vedo se Vercel blocca i bot AI sul mio progetto?

Apri il progetto nella dashboard di Vercel, poi Firewall e Rules. Tre impostazioni decidono:

ImpostazionePredefinitaBlocca i crawler AI quando
“AI Bots Ruleset” (Bot Management)“Allow” (inattivo)È impostata su “Deny”
“Bot Protection” (Bot Management)“Off”Raramente: i bot verificati sono esclusi, ma quelli non verificati ricevono una sfida
Regole personalizzateNessunaUna regola corrisponde a uno user agent come GPTBot, oppure usa il modello “Block AI Bots” con Deny o Challenge
Attack ModeDisattivatoNon per i bot verificati, che passano senza sfida

Perché il mio sito Vercel potrebbe bloccare ChatGPT senza che io lo sappia?

Di solito perché qualcuno ha attivato il blocco con un clic per ridurre i consumi. In una discussione del febbraio 2026 sul forum della community di Vercel, un account del piano gratuito fu sospeso dopo che un crawler di OpenAI aveva esaurito le sue risorse, e un dipendente di Vercel suggerì di bloccare i bot AI nel firewall.

Questo risolve la bolletta, ma toglie anche il sito da ciò che quei crawler possono leggere. Controlla il firewall dopo ogni incidente di costi o di traffico.

Come lo verifico da riga di comando?

Leggi il robots.txt sul dominio di produzione e richiedi la home page con il nome di ogni crawler. Un 200 è un buon segno; un 403 o una pagina di sfida significa che una regola corrisponde a quel nome:

# 1. robots.txt sul dominio di produzione
curl -s https://www.example.com/robots.txt

# 2. Codice di stato per nome di crawler AI (qualsiasi risposta diversa da 200 significa che una regola corrisponde a quel nome)
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot PerplexityBot; do
  echo "$ua $(curl -s -o /dev/null -w '%{http_code}' -A "$ua" https://www.example.com/)"
done

Posso bloccare l'addestramento dell'AI restando nella ricerca di ChatGPT?

Sì, bloccando i crawler per nome invece che tutti insieme. OpenAI separa GPTBot, usato per l'addestramento, da OAI-SearchBot, usato per la ricerca di ChatGPT, e Anthropic separa ClaudeBot da Claude-SearchBot.

Il set AI Bots di Vercel li tratta come un unico gruppo. Per bloccare solo l'addestramento, vieta GPTBot e ClaudeBot nel robots.txt o scrivi una regola personalizzata del firewall per questi user agent, e lascia consentiti i crawler di ricerca.

Le anteprime di Vercel sono un problema per la ricerca AI?

No, devono restare fuori dai motori. Vercel aggiunge automaticamente l'header X-Robots-Tag: noindex a ogni anteprima.

L'eccezione: quando un dominio personalizzato punta a un branch non di produzione, Vercel omette quell'header, quindi un dominio di staging può essere indicizzato se non lo aggiungi tu.

Passo dopo passo

  1. Controlla il set AI Bots. In Firewall, Rules, Bot Management, verifica che “AI Bots Ruleset” mostri “Allow” o “Log”, non “Deny”.
  2. Controlla le regole personalizzate. Cerca le regole che corrispondono a GPTBot, ClaudeBot, PerplexityBot o al modello “Block AI Bots”, e annota la loro azione.
  3. Controlla il robots.txt. Chiedi al tuo agente di codifica di mostrare il robots.txt generato dal framework e conferma che OAI-SearchBot e Claude-SearchBot siano consentiti.
  4. Prova ogni nome di crawler. Esegui il ciclo curl sul dominio di produzione e cerca qualsiasi risposta diversa da 200.
  5. Blocca per nome, se devi. Se il motivo sono i costi, blocca solo i crawler di addestramento, oppure parti da “Log” prima di scegliere “Deny”.

Errori comuni

  • Attivare il blocco AI con un clic per ridurre i consumi e dimenticare che blocca anche la ricerca di ChatGPT e i crawler di Perplexity.
  • Controllare solo il robots.txt mentre una regola del firewall restituisce 403 agli stessi crawler.
  • Testare l'URL di anteprima, che ha noindex, invece del dominio di produzione.
  • Lasciare indicizzabile un dominio personalizzato di staging, perché Vercel non vi aggiunge noindex.

Come lo risolve easyIndex

easyIndex non tocca mai il tuo progetto Vercel: il tuo agente di codifica fa ogni modifica, guidato passo dopo passo via MCP, e easyIndex controlla ogni pagina sul sito pubblicato invece di fidarsi del rapporto dell'agente. La sua dashboard mostra quali pagine i crawler AI leggono e quando, quindi una modifica al firewall che li ferma appare come letture che si interrompono. US$ 30 per sito al mese, con prova gratuita di 7 giorni.

Domande frequenti

Vercel blocca i crawler AI sul piano gratuito Hobby?

Non per impostazione predefinita. Il set AI Bots è disponibile su tutti i piani, incluso Hobby, e resta inattivo finché qualcuno non lo imposta su Log o Deny.

La Bot Protection di Vercel blocca GPTBot?

No. Vercel dice che Bot Protection esclude i bot verificati, e il suo elenco include GPTBot, OAI-SearchBot e ClaudeBot come verificati.

Attack Mode danneggia la mia visibilità nelle risposte AI?

Vercel dice che i bot verificati passano Attack Mode senza sfida, e i crawler AI di OpenAI, Anthropic e Perplexity sono in quell'elenco.

Quanto tempo serve perché ChatGPT torni a leggere il mio sito dopo lo sblocco?

OpenAI dice che una modifica al robots.txt richiede circa 24 ore per arrivare ai suoi sistemi; una modifica al firewall si applica quando la pubblichi.

Continua a leggere

Verificato il .

Vercel blocca GPTBot, ClaudeBot e gli altri crawler AI?