Welche KI-Crawler gibt es, und wie lasse ich sie in der robots.txt zu?

Die wichtigsten KI-Crawler sind OAI-SearchBot, ChatGPT-User und GPTBot von OpenAI; Claude-SearchBot, Claude-User und ClaudeBot von Anthropic; PerplexityBot und Perplexity-User von Perplexity; das Google-Extended-Token von Google und CCBot von Common Crawl. Damit Sie zitiert werden, erlauben Sie die Such- und Nutzer-Crawler in der robots.txt mit einer User-agent-Zeile und Allow: / für jeden von ihnen.

Fakten

OpenAI nutzt OAI-SearchBot, um Websites in den Suchfunktionen von ChatGPT anzuzeigen, und GPTBot für seine Basismodelle; Änderungen der robots.txt werden für die Suche in etwa 24 Stunden wirksam. (OpenAI: Overview of OpenAI crawlers)
Anthropic erklärt, dass eine Blockade von Claude-SearchBot oder Claude-User die Sichtbarkeit einer Website in Antworten von Claude verringern kann, während ClaudeBot Inhalte sammelt, die zum Training verwendet werden können. (Anthropic: Crawlt Anthropic Daten aus dem Web?)
Perplexity erklärt, dass PerplexityBot Websites in seinen Suchergebnissen anzeigt und verlinkt und nicht dazu dient, Inhalte für KI-Basismodelle zu crawlen; Änderungen der robots.txt können bis zu 24 Stunden dauern. (Perplexity: Crawler von Perplexity)
Google-Extended steuert das Training und die Fundierung von Gemini und hat keinen Einfluss auf die Aufnahme oder das Ranking in der Google-Suche. (Google Search Central: Häufige Crawler von Google (Google-Extended))
Der Crawler von Common Crawl gibt sich als CCBot zu erkennen; Websitebetreiber können ihn mit User-agent: CCBot und Disallow: / blockieren. (Common Crawl: CCBot)

Welche KI-Crawler gibt es, und was tut jeder?

Jedes KI-Unternehmen betreibt getrennte Crawler für die Suche, für Live-Anfragen von Nutzern und für das Training, und die robots.txt kann jeden davon anders behandeln.

Crawler	Unternehmen	Zweck
OAI-SearchBot	OpenAI	Suchergebnisse in ChatGPT
ChatGPT-User	OpenAI	Nutzeraktionen in ChatGPT und in eigenen GPTs
GPTBot	OpenAI	Training der Basismodelle
Claude-SearchBot	Anthropic	Indexierung für die Suchergebnisse von Claude
Claude-User	Anthropic	Abruf von Seiten für die Frage eines Nutzers
ClaudeBot	Anthropic	Inhalte, die zum Training verwendet werden können
PerplexityBot	Perplexity	Suchergebnisse in Perplexity
Perplexity-User	Perplexity	Nutzeraktionen innerhalb von Perplexity
Google-Extended	Google	Training und Fundierung von Gemini (ein Token der robots.txt)
CCBot	Common Crawl	Offenes Archiv des Webs

Welche robots.txt lässt die Such- und Antwort-Crawler zu?

Diese robots.txt erlaubt die Crawler, die Ihre Website in KI-Antworten bringen. Nehmen Sie die Trainings-Crawler nach Ihrer Entscheidung auf oder lassen Sie sie weg, und ersetzen Sie die Sitemap-Adresse durch Ihre eigene.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Kann ich das Training blockieren und trotzdem in KI-Antworten erscheinen?

Ja. OpenAI, Anthropic und Google führen das Training getrennt auf (GPTBot, ClaudeBot, Google-Extended). Sie können diese sperren und die Such- und Nutzer-Crawler erlaubt lassen.

Woran erkenne ich, dass KI-Crawler meine Website wirklich lesen?

Prüfen Sie die Server-Logs oder einen Crawler-Bericht auf deren User-Agents. Das run_audit von easyIndex prüft, ob die robots.txt KI-Crawler zulässt, und der Crawler-Weiterleiter zeigt, welche Seiten jeder KI-Crawler wann gelesen hat.

Schritt für Schritt

robots.txt öffnen. Rufen Sie yoursite.com/robots.txt auf und suchen Sie nach Disallow-Regeln unter User-agent: * oder unter einem KI-Crawler.
Pro Crawler entscheiden. Legen Sie anhand der Tabelle oben fest, welche Such-, Nutzer- und Trainings-Crawler Sie zulassen.
Regeln ergänzen. Fügen Sie für jeden gewünschten Crawler eine User-agent-Zeile und Allow: / hinzu, außerdem Ihre Sitemap-Zeile.
Firewall prüfen. Vergewissern Sie sich, dass Ihr CDN oder Bot-Schutz dieselben Crawler nicht herausfordert oder blockiert.
Warten und prüfen. Rechnen Sie etwa 24 Stunden, bis OpenAI und Perplexity die Änderung übernehmen, und bestätigen Sie dann die Abrufe in Ihren Logs.

Häufige Fehler

Ein User-agent: * mit Disallow: / aus der Staging-Umgebung stehen lassen, was jeden Crawler blockiert.
GPTBot oder ClaudeBot blockieren und annehmen, das gelte auch für die Suche; Such-Crawler sind getrennt.
Crawler in der robots.txt zulassen, während der Bot-Schutz des CDN sie weiterhin blockiert.
Den User-Agent falsch schreiben, sodass die Regel auf nichts zutrifft.

So löst easyIndex das

Das run_audit von easyIndex prüft, ob Ihre robots.txt KI-Crawler zulässt; Ihr Coding-Agent korrigiert sie über MCP. Danach misst easyIndex die Abrufe durch KI-Crawler und die Besucher von KI-Assistenten pro Seite. Das kostet 30 US$ pro Website und Monat, mit 7 Tagen kostenloser Testphase.

Häufig gestellte Fragen

Garantiert das Zulassen von KI-Crawlern, dass ich zitiert werde?

Nein. Es macht Ihre Seiten lesbar. Ob ein Assistent sie zitiert, hängt von den Seiten und von der Frage ab.

Gibt es eine robots.txt-Regel für Gemini?

Google-Extended ist das Token, das das Training und die Fundierung von Gemini steuert. Googlebot übernimmt weiterhin die Google-Suche.

Brauche ich zusätzlich eine llms.txt?

Nein. Die robots.txt entscheidet über den Zugriff; llms.txt ist eine optionale Datei, die Crawler auf wichtige Seiten hinweist.

Wie schnell wirken Änderungen?

OpenAI nennt etwa 24 Stunden, Perplexity bis zu 24 Stunden nach einer Aktualisierung der robots.txt.

Weiterlesen

Zuletzt geprüft am 9. Oktober 2026.