Blockiert Vercel GPTBot, ClaudeBot und andere KI-Crawler meine Website?

Standardmäßig nicht. Das Managed Ruleset „AI Bots“ von Vercel ist aus, solange niemand es einschaltet, und Bot Protection sowie Attack Mode lassen verifizierte Bots wie GPTBot und ClaudeBot durch. Ihre Website blockiert KI-Crawler auf Vercel nur, wenn das AI-Bots-Ruleset auf Deny steht, eine eigene Firewall-Regel ihre Namen erkennt oder Ihre robots.txt sie ausschließt.

Fakten

Vercel hat am 13. Mai 2025 ein Managed Ruleset für KI-Bots mit einem Klick eingeführt, das GPTBot, ClaudeBot, PerplexityBot und Bytespider blockieren kann, auf allen Tarifen kostenlos. (Vercel-Changelog: Neues Ein-Klick-Managed-Ruleset für KI-Bots (13. Mai 2025))
Die Dokumentation von Vercel, Stand 10.09.2026, sagt: Das AI Bots Managed Ruleset ist standardmäßig inaktiv und wird als „Allow“ angezeigt, mit zwei Aktionen: Log oder Deny. (Vercel-Dokumentation: WAF Managed Rulesets)
Auch das Bot-Protection-Ruleset von Vercel ist standardmäßig aus. Ist es an, schließt es verifizierte Bots aus; das Verzeichnis von Vercel führt GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot und PerplexityBot als verifiziert. (Vercel-Dokumentation: Bot Management)
Attack Mode ist auf allen Vercel-Tarifen kostenlos und lässt bekannte Bots aus dem Verzeichnis verifizierter Bots ohne Challenge durch. (Vercel-Dokumentation: Attack Mode)
OpenAI sagt, Websites, die sich von OAI-SearchBot abgemeldet haben, werden in ChatGPT-Suchantworten nicht gezeigt, und eine Änderung der robots.txt wirkt nach etwa 24 Stunden. (OpenAI: Overview of OpenAI crawlers)

Wo sehe ich, ob Vercel KI-Bots in meinem Projekt blockiert?

Öffnen Sie das Projekt im Vercel-Dashboard, dann Firewall und Rules. Drei Stellen entscheiden darüber:

Einstellung	Standard	Blockiert KI-Crawler, wenn
„AI Bots Ruleset“ (Bot Management)	„Allow“ (inaktiv)	Auf „Deny“ gesetzt
„Bot Protection“ (Bot Management)	„Off“	Selten: verifizierte Bots sind ausgenommen, unverifizierte bekommen eine Challenge
Eigene Regeln	Keine	Eine Regel trifft einen User-Agent wie GPTBot oder nutzt die Vorlage „Block AI Bots“ mit Deny oder Challenge
Attack Mode	Deaktiviert	Nicht bei verifizierten Bots, die ohne Challenge durchlaufen

Warum blockiert meine Vercel-Website ChatGPT, ohne dass ich es weiß?

Meist, weil jemand die Ein-Klick-Sperre eingeschaltet hat, um Verbrauch zu sparen. In einem Thread im Community-Forum von Vercel vom Februar 2026 wurde ein Konto im kostenlosen Tarif pausiert, nachdem ein OpenAI-Crawler dessen Ressourcen aufgebraucht hatte, und ein Vercel-Mitarbeiter schlug vor, KI-Bots in der Firewall zu blockieren.

Das löst die Rechnung, entfernt die Website aber zugleich aus dem, was diese Crawler lesen können. Prüfen Sie die Firewall nach jedem Kosten- oder Traffic-Vorfall.

Wie teste ich das über die Kommandozeile?

Lesen Sie die robots.txt auf der Produktionsdomain und rufen Sie die Startseite mit dem Namen jedes Crawlers ab. Ein 200 ist ein gutes Zeichen; ein 403 oder eine Challenge-Seite heißt, dass eine Regel diesen Namen trifft.

# 1. robots.txt auf der Produktionsdomain
curl -s https://www.example.com/robots.txt

# 2. Statuscode je KI-Crawler-Name (alles außer 200 heißt, dass eine Regel diesen Namen trifft)
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot PerplexityBot; do
  echo "$ua $(curl -s -o /dev/null -w '%{http_code}' -A "$ua" https://www.example.com/)"
done

Kann ich das KI-Training blockieren und trotzdem in der ChatGPT-Suche bleiben?

Ja, indem Sie die Crawler einzeln nach Namen sperren, statt alle auf einmal. OpenAI trennt GPTBot, der fürs Training genutzt wird, von OAI-SearchBot, der für die ChatGPT-Suche genutzt wird, und Anthropic trennt ClaudeBot von Claude-SearchBot.

Das AI-Bots-Ruleset von Vercel behandelt sie als eine Gruppe. Um nur das Training zu blockieren, untersagen Sie GPTBot und ClaudeBot in der robots.txt oder schreiben eine eigene Firewall-Regel für diese User-Agents und lassen die Such-Crawler erlaubt.

Sind Vercel-Preview-Deployments ein Problem für die KI-Suche?

Nein, sie sollen draußen bleiben. Vercel fügt jedem Preview-Deployment automatisch den Header X-Robots-Tag: noindex hinzu.

Die Ausnahme: Zeigt eine eigene Domain auf einen Branch, der nicht Produktion ist, lässt Vercel diesen Header weg. Dann kann eine Staging-Domain indexiert werden, sofern Sie das nicht selbst verhindern.

Schritt für Schritt

AI-Bots-Ruleset prüfen. Prüfen Sie unter Firewall, Rules, Bot Management, dass das „AI Bots Ruleset“ auf „Allow“ oder „Log“ steht, nicht auf „Deny“.
Eigene Regeln prüfen. Suchen Sie nach Regeln, die GPTBot, ClaudeBot, PerplexityBot oder die Vorlage „Block AI Bots“ treffen, und notieren Sie deren Aktion.
robots.txt prüfen. Lassen Sie Ihren Coding-Agenten die robots.txt zeigen, die das Framework erzeugt, und bestätigen Sie, dass OAI-SearchBot und Claude-SearchBot erlaubt sind.
Jeden Crawler-Namen testen. Führen Sie die curl-Schleife gegen die Produktionsdomain aus und suchen Sie nach allem außer 200.
Notfalls nach Namen sperren. Wenn die Kosten der Grund sind, sperren Sie nur die Trainings-Crawler oder starten Sie mit „Log“, bevor Sie „Deny“ wählen.

Häufige Fehler

Die Ein-Klick-Sperre für KI einschalten, um Verbrauch zu sparen, und vergessen, dass sie auch die ChatGPT-Suche und die Perplexity-Crawler stoppt.
Nur die robots.txt prüfen, während eine Firewall-Regel dieselben Crawler mit 403 abweist.
Die Preview-URL testen, die noindex trägt, statt der Produktionsdomain.
Eine Staging-Domain indexierbar lassen, weil Vercel darauf noindex weglässt.

So löst easyIndex das

easyIndex fasst Ihr Vercel-Projekt nie an: Ihr Coding-Agent nimmt jede Änderung vor, Schritt für Schritt über MCP angeleitet, und easyIndex prüft jede Seite auf der Live-Website, statt dem Bericht des Agenten zu vertrauen. Das Dashboard zeigt, welche Seiten KI-Crawler wann lesen, sodass eine Firewall-Änderung, die sie stoppt, als ausbleibende Abrufe sichtbar wird. 30 US$ pro Website und Monat, mit 7 Tagen kostenloser Testphase.

Häufig gestellte Fragen

Blockiert Vercel KI-Crawler im kostenlosen Hobby-Tarif?

Nicht standardmäßig. Das AI-Bots-Ruleset steht auf allen Tarifen zur Verfügung, auch auf Hobby, und bleibt inaktiv, bis jemand es auf Log oder Deny setzt.

Blockiert der Bot-Schutz von Vercel GPTBot?

Nein. Vercel sagt, der Bot-Schutz schließt verifizierte Bots aus, und das Verzeichnis führt GPTBot, OAI-SearchBot und ClaudeBot als verifiziert.

Schadet Attack Mode meiner Sichtbarkeit in KI-Antworten?

Vercel sagt, verifizierte Bots laufen im Attack Mode ohne Challenge durch, und die KI-Crawler von OpenAI, Anthropic und Perplexity stehen in diesem Verzeichnis.

Wie lange dauert es, bis ChatGPT meine Website nach dem Aufheben der Sperre wieder liest?

OpenAI sagt, eine Änderung der robots.txt braucht etwa 24 Stunden, bis sie in seinen Systemen wirkt. Eine Firewall-Änderung gilt, sobald Sie sie veröffentlichen.

Weiterlesen

Zuletzt geprüft am 13. Oktober 2026.