Soll ich KI-Crawler blockieren oder zulassen?
Für die meisten Unternehmen gilt: zulassen — wer in KI-Antworten
genannt werden will, muss die Crawler hereinlassen, die diese Antworten speisen
(allen voran OAI-SearchBot, PerplexityBot, ClaudeBot). Eine Ausnahme ist
GPTBot, der ausschließlich KI-Trainingsdaten sammelt — ihn zu
blockieren kostet keine Sichtbarkeit in aktuellen Antworten. Wichtig: robots.txt
ist nur die halbe Kontrolle. CDN- und Firewall-Bot-Schutz (z. B. Cloudflare)
blockiert KI-Crawler oft zusätzlich, unsichtbar für die robots.txt-Prüfung — dieser
Artikel zeigt, wo genau du nachsehen musst.
In mehreren Artikeln dieser Serie tauchte dieselbe Frage immer wieder auf: Welcher Crawler gehört zu welchem KI-System, und wie steuere ich ihn? Zeit für die vollständige Antwort an einem Ort. Der Fund, der in praktisch jedem meiner technischen Audits auftaucht: Die robots.txt sieht sauber aus — blockiert wird trotzdem, weil ein Bot-Schutz davor sitzt, den niemand auf dem Schirm hat.
| Zwei Kontroll-Ebenen | robots.txt (Meldepflicht für Bots) und CDN-/Firewall-Bot-Schutz (technische Sperre) — beide müssen geprüft werden, nicht nur eine |
| Relevante Crawler | GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google), Bingbot (Microsoft) |
| Trainings- vs. Live-Crawler | Trainings-Crawler (z. B. GPTBot) beeinflussen künftige Modelle; Such-Crawler (z. B. OAI-SearchBot) speisen aktuelle Antworten direkt |
| Häufigste unbemerkte Sperre | Cloudflare Bot Fight Mode / Super Bot Fight Mode blockiert KI-Crawler standardmäßig, unabhängig von der robots.txt |
| robots.txt bindend? | Rechtlich nicht erzwingbar, aber seriöse KI-Anbieter halten sich nach eigenen Angaben daran |
| Empfehlung für die meisten KMU | Alle Such- und Antwort-Crawler zulassen, GPTBot optional blockieren, Bot-Schutz-Einstellungen separat prüfen |
| Anbieter | Deine SEO Agentur, Herten (NRW) — deine-seo-agentur.de |
Die vollständige Crawler-Tabelle: Wer macht was
Der wichtigste Grundsatz zuerst, ausführlicher hergeleitet im Artikel „Woher nehmen ChatGPT & Perplexity ihre Antworten?”: Jeder Anbieter trennt zwischen Crawlern fürs Training (füttern künftige Modellgenerationen, wirken erst Monate später) und Crawlern für die Live-Suche (speisen aktuelle Antworten direkt). Wer die beiden verwechselt, blockiert oft genau den falschen Bot.
| Crawler | Anbieter | Zweck | Empfehlung |
|---|---|---|---|
GPTBot | OpenAI | Sammelt Trainingsdaten für künftige Modelle | Abwägen — blockieren kostet keine aktuelle Sichtbarkeit |
OAI-SearchBot | OpenAI | Baut den Suchindex für ChatGPT Search auf | Zulassen — direkt sichtbarkeitsrelevant |
ChatGPT-User | OpenAI | Ruft Seiten live ab, wenn Nutzer gezielt danach fragen oder einen Link teilen | Zulassen — sonst scheitert die konkrete Nutzeranfrage |
ClaudeBot | Anthropic | Crawlt für Training und Websuche von Claude | Zulassen |
PerplexityBot | Perplexity | Baut und aktualisiert den Perplexity-Suchindex | Zulassen — Perplexity zitiert besonders konsequent |
Google-Extended | Steuert nur Trainingsdaten für Gemini — nicht AI Overviews | Abwägen — Blockieren betrifft AI Overviews nicht | |
Googlebot / Bingbot | Google / Microsoft | Klassische Suchindizes — Grundlage von AI Overviews bzw. Copilot/ChatGPT-Bing-Anteil | Zulassen — Basis jeder Sichtbarkeit |
Die vollständige, tagesaktuelle Bot-Liste jedes Anbieters ändert sich gelegentlich — neue Sub-Bots kommen dazu, User-Agent-Strings werden präzisiert. Die offiziellen Dokumentationen der Anbieter (OpenAI, Anthropic, Perplexity, Google Search Central) sind die verlässlichste Quelle für den exakten aktuellen Stand; diese Tabelle bildet die strukturelle Logik ab, die sich seltener ändert als die Bot-Namen selbst.
Die robots.txt: gezielt statt pauschal
Die robots.txt liegt im Hauptverzeichnis deiner Domain
(deine-domain.de/robots.txt) und meldet Bots, welche Bereiche sie
crawlen dürfen. Wichtig: Es ist eine Bitte, keine technische Sperre —
seriöse Anbieter halten sich nach eigenen Angaben daran, erzwingen lässt sie sich nicht.
Für die meisten KMU-Websites reicht eine einfache, gezielte Konfiguration:
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: * Allow: /
Bei Shopify läuft die Anpassung nicht über eine direkt editierbare Datei, sondern über
das Template robots.txt.liquid — die Details dazu stehen im Artikel
„GEO für Online-Shops”. Bei WordPress reicht in
der Regel eine virtuelle robots.txt über das SEO-Plugin oder eine physische Datei im
Root-Verzeichnis per FTP.
Die unsichtbare Sperre: Wenn die robots.txt sauber ist und trotzdem blockiert wird
Das ist der Teil, der in den meisten Anleitungen fehlt — und der häufigste Fund in meinen Audits. Die robots.txt kann vorbildlich konfiguriert sein und KI-Crawler trotzdem nie an den Server kommen, weil eine vorgelagerte Schutzschicht sie aussperrt:
Cloudflares Bot-Schutz-Modi erkennen und blockieren automatisiert Bot-Traffic — darunter standardmäßig auch legitime KI-Crawler, unabhängig davon, was in der robots.txt steht. Das ist die technisch wirksamere, aber für die robots.txt-Prüfung unsichtbare Sperre. Prüfen unter: Cloudflare-Dashboard → Security → Bots. Für Websites, die in KI-Antworten erscheinen wollen, gehören die relevanten KI-Crawler in eine Ausnahmeregel (Allow-Liste) statt der Pauschal-Blockade.
Ein wiederkehrender Fund: Eine Website mit sauberer, offener robots.txt taucht in keiner einzigen KI-Antwort auf — der 3-Fragen-Selbsttest schlägt komplett fehl, obwohl alles auf dem Papier stimmt. Ursache war in mehreren Fällen ein aktivierter Bot-Schutz auf CDN-Ebene, von dem der Website-Betreiber nichts wusste, weil er beim Website-Setup als Sicherheits-Standard mit aktiviert wurde. Die robots.txt war komplett irrelevant — der Crawler kam nie so weit, sie zu lesen.
Weitere Stellen, an denen Sperren unbemerkt entstehen: Hosting-Firewalls (manche Shared-Hosting-Pakete blockieren unbekannte User-Agents standardmäßig), WAF-Regeln (Web Application Firewalls, die Bot-Traffic pauschal als verdächtig einstufen), und Rate-Limiting (KI-Crawler können in kurzer Zeit viele Seiten abrufen und Schutzsysteme auslösen, die eigentlich gegen DDoS-Angriffe gedacht sind).
Selbsttest: Kommen die KI-Crawler überhaupt bei dir an?
- robots.txt direkt aufrufen
deine-domain.de/robots.txtim Browser öffnen und aufDisallow: /bei den relevanten Bots prüfen. - Server-Logs auf Bot-Zugriffe prüfen Falls Zugriff auf Rohlogs besteht: nach den User-Agent-Strings der Crawler-Tabelle suchen. Tauchen sie regelmäßig auf und liefern Statuscode 200 (nicht 403 oder 429), kommen sie durch.
- Cloudflare- oder CDN-Dashboard kontrollieren Bot-Fight-Mode-Einstellungen, Firewall-Regeln und WAF-Ausnahmen gezielt nach den relevanten Bot-Namen durchsuchen.
- Den inhaltlichen Gegentest machen Den 3-Fragen-Selbsttest durchführen. Schlägt er trotz sauberer robots.txt fehl, ist eine vorgelagerte Sperre der wahrscheinlichste Grund — direkt bei Schritt 3 weitersuchen.
Die robots.txt ist die Bitte — der Bot-Schutz ist die Tür. Eine offene Bitte bei verschlossener Tür bringt niemanden herein. Beide Ebenen gehören in jeden technischen Check, nicht nur eine.
Häufige Fragen zu KI-Crawlern
Soll ich KI-Crawler blockieren oder zulassen?
Für die meisten Unternehmen: zulassen. Wer in KI-Antworten genannt werden will, muss die Crawler hereinlassen, die diese Antworten speisen — OAI-SearchBot, PerplexityBot, ClaudeBot und ähnliche. Eine Ausnahme ist GPTBot, der nur Trainingsdaten sammelt; ihn zu blockieren kostet keine aktuelle Sichtbarkeit.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Trainingsdaten für künftige OpenAI-Modelle und wirkt erst mit der nächsten Modellgeneration. OAI-SearchBot baut den Suchindex für ChatGPT Search auf und beeinflusst direkt, ob eine Seite in aktuellen ChatGPT-Antworten zitiert wird.
Warum werde ich trotz offener robots.txt nicht von KI-Crawlern erreicht?
Häufigste Ursache: ein vorgelagerter Bot-Schutz auf CDN- oder Firewall-Ebene, etwa Cloudflares Bot Fight Mode, der KI-Crawler unabhängig von der robots.txt blockiert. Diese Einstellungen liegen außerhalb der robots.txt und müssen separat im jeweiligen Dashboard geprüft werden.
Ist die robots.txt rechtlich bindend für KI-Crawler?
Nein, technisch nicht erzwingbar — es ist eine Konvention. Die großen, seriösen KI-Anbieter geben jedoch an, sich an robots.txt-Anweisungen zu halten. Eine verlässliche Kontrolle bietet zusätzlich der serverseitige Bot-Schutz.
Blockiert Google-Extended auch Google AI Overviews?
Nein. Google-Extended steuert ausschließlich, ob Inhalte für das Training der Gemini-Modelle verwendet werden. AI Overviews speisen sich aus dem normalen Google-Suchindex über den regulären Googlebot — ein häufiges Missverständnis.
Wie prüfe ich, ob Cloudflare KI-Crawler blockiert?
Im Cloudflare-Dashboard unter Security → Bots nachsehen, ob Bot Fight Mode oder Super Bot Fight Mode aktiv ist. Ist das der Fall, sollten die relevanten KI-Crawler über eine Firewall-Ausnahmeregel gezielt zugelassen werden, statt sie pauschal mitzublockieren.
Kommen KI-Crawler überhaupt bei dir an — oder blockiert sie etwas, das du nicht siehst?
Ich prüfe kostenlos beide Ebenen: robots.txt und den vorgelagerten Bot-Schutz deines Hosters oder CDN. Trag deine E-Mail ein, ich melde mich persönlich.
Kein Newsletter, kein Spam — eine persönliche Antwort von Andreas Böhm.