Blockiert Cloudflare ChatGPT und andere KI-Crawler auf meiner Website?

Das kann sein. Cloudflare hat seinen Standard im Juli 2025 auf das Blockieren von KI-Crawlern umgestellt, und seit dem 15. September 2026 blockieren neue Domains Training- und Agent-Bots auf Seiten mit Werbung. Prüfen Sie unter Security Settings, Configure AI bot policies: Erlauben Sie die Kategorien Search und Agent, damit ChatGPT, Claude und Perplexity Sie lesen und zitieren können, und blockieren Sie Training, falls Sie das möchten.

Fakten

Am 1. Juli 2025 kündigte Cloudflare an, seinen Standard zu ändern: KI-Crawler werden blockiert, sofern sie Urheber nicht für ihre Inhalte bezahlen. (Cloudflare: Content Independence Day (Juli 2025))
Laut der Cloudflare-Dokumentation blockieren neue Domains ab dem 15. September 2026 Bots der Kategorien Training und Agent auf Seiten, die Werbung anzeigen. Search bleibt erlaubt. (Cloudflare-Dokumentation: KI-Bots blockieren)
Cloudflare schreibt, dass Crawler, die Search und Training kombinieren, von jeder Einstellung blockiert werden, die das KI-Training blockieren soll. (Cloudflare-Dokumentation: KI-Bots blockieren)
OpenAI schreibt, dass Websites, die sich vom OAI-SearchBot abgemeldet haben, in den Antworten der ChatGPT-Suche nicht erscheinen. Das Blockieren von GPTBot meldet dagegen nur vom Training ab. (OpenAI: Overview of OpenAI crawlers)
Anthropic betreibt drei Bots: ClaudeBot für das Training, Claude-User für Nutzeranfragen und Claude-SearchBot für die Suchindexierung. Wer die beiden letzten blockiert, kann seine Sichtbarkeit in Claude verringern. (Anthropic: Crawlt Anthropic Daten aus dem Web?)

Wo sehe ich, was Cloudflare blockiert?

Öffnen Sie im Cloudflare-Dashboard die Security Settings und dann Configure AI bot policies. Jede Kategorie, Search, Agent und Training, hat drei Optionen: Block, Block on pages with ads und Allow. Der ältere Schalter Block AI bots wird abgeschafft.

Welche KI-Crawler sollte ich zulassen, damit ich zitiert werde?

Lassen Sie die Crawler zu, die Nutzern antworten und Suchindexe aufbauen. Training-Crawler sind eine eigene Entscheidung.

Crawler	Zweck	Cloudflare-Kategorie	Um zitiert zu werden
OAI-SearchBot	ChatGPT-Suche	Search	Erlauben
ChatGPT-User	Ruft eine Seite ab, nach der ein Nutzer fragt	Agent	Erlauben
Claude-SearchBot	Suchindexierung für Claude	Search	Erlauben
Claude-User	Ruft eine Seite ab, nach der ein Claude-Nutzer fragt	Agent	Erlauben
GPTBot, ClaudeBot	Training der Modelle	Training	Ihre Wahl

Zählt die robots.txt noch, wenn ich Cloudflare nutze?

Ja: Die Regeln von Cloudflare entscheiden, wer durch das Netzwerk kommt, und die robots.txt sagt jedem Crawler, was er lesen darf. Beide müssen zusammenpassen, sonst gilt die strengere Regel.

# Such- und Nutzeranfrage-Crawler: erlaubt
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Training-Crawler: Ihre Entscheidung
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Warum kann das Blockieren von Training auch die Suche blockieren?

Weil manche Crawler beide Aufgaben übernehmen. Cloudflare bewertet einen gemischten Search- und Training-Crawler nach beiden Richtlinien. Blockieren Sie Training auf allen Seiten, kann er also auch dann ausgeschlossen werden, wenn Search erlaubt ist. Prüfen Sie die Kategorie Search nach jeder Änderung an Training.

Wie bestätige ich, dass KI-Crawler meine Website wieder lesen?

Achten Sie auf deren Besuche nach der Änderung, nicht nur auf die Einstellung. easyIndex erfasst jeden Abruf durch einen KI-Crawler pro Seite. So sehen Sie, wann OAI-SearchBot oder Claude-SearchBot zurückkehren, und merken, wenn die Abrufe ausbleiben.

Schritt für Schritt

Öffnen Sie die KI-Bot-Richtlinien. Gehen Sie bei Cloudflare zu Security Settings, Configure AI bot policies, und notieren Sie die Optionen jeder Kategorie.
Erlauben Sie Search und Agent. Stellen Sie Search und Agent auf Allow, damit Suchindexe und Nutzeranfragen von ChatGPT, Claude und Perplexity durchkommen.
Entscheiden Sie bei Training. Blockieren oder erlauben Sie Training, wie Sie möchten, und prüfen Sie danach, ob Search für gemischte Crawler weiterhin erlaubt ist.
Gleichen Sie die robots.txt ab. Lassen Sie Ihren Coding-Agent OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot in der robots.txt erlauben.
Beobachten Sie die Abrufe. Prüfen Sie, dass diese Crawler in den nächsten Tagen wieder abrufen. OpenAI schreibt, dass Änderungen an der robots.txt etwa 24 Stunden brauchen.

Häufige Fehler

Die robots.txt zu korrigieren, während Cloudflare den Crawler noch im Netzwerk blockiert.
Training auf allen Seiten zu blockieren, ohne zu prüfen, was mit gemischten Crawlern passiert.
GPTBot zu erlauben, aber OAI-SearchBot zu blockieren, was Sie aus der ChatGPT-Suche ausschließt.
Der Einstellung zu vertrauen, ohne zu prüfen, ob die Abrufe tatsächlich wieder ankommen.

So löst easyIndex das

easyIndex erfasst, welche KI-Crawler jede Seite lesen, und zeigt, wann sie aufhören. So wird eine Sperre bei Cloudflare sichtbar. Ihr Coding-Agent korrigiert die robots.txt über MCP, und easyIndex prüft sie live. 30 US-Dollar pro Website und Monat, mit 7 Tagen kostenloser Testphase.

Häufig gestellte Fragen

Blockiert Cloudflare auch Googlebot?

Googlebot crawlt für die Suche und andere Zwecke. Cloudflare behandelt gemischte Crawler auch nach der Training-Richtlinie. Prüfen Sie diese Einstellung, wenn der Google-Traffic sinkt.

Ist der Standard bei alten und neuen Domains gleich?

Nein. Die Standardeinstellungen vom 15. September 2026 gelten für neue Domains. Ältere Domains behalten die Optionen, die bereits gesetzt sind. Prüfen Sie deshalb Ihre.

Brauche ich Pay per Crawl von Cloudflare, um zitiert zu werden?

Nein. Pay per Crawl ist für Verlage gedacht, die Crawler zur Kasse bitten wollen. Um zitiert zu werden, müssen Sie nur Such- und Agent-Crawler hereinlassen.

Wie lange dauert es, bis ChatGPT meine Website nach dem Freigeben sieht?

OpenAI schreibt, dass seine Systeme Änderungen an der robots.txt in etwa 24 Stunden übernehmen. Ob Sie danach zitiert werden, hängt von Ihren Seiten ab.

Weiterlesen

Zuletzt geprüft am 9. Oktober 2026.