robots.txt für KI-Crawler: GPTBot, ClaudeBot & Co.

Q: Soll ich KI-Crawler zulassen?

Entscheide nach Zweck: gewünschte Such- und Retrieval-Bots sollten nicht ungewollt voll gesperrt sein. Training und Datensatz-Nutzung lassen sich unabhängig steuern.

Eine Vollsperre für Such- und Retrieval-Crawler kann verhindern, dass aktuelle Inhalte als Antwortquelle abgerufen werden. Trainings-, Such- und nutzerausgelöste Bots haben jedoch unterschiedliche Aufgaben und müssen getrennt bewertet werden.

Auf einen Blick

OAI-SearchBot, Claude-SearchBot und PerplexityBot dienen der Suche oder dem Retrieval. GPTBot, ClaudeBot und CCBot betreffen dagegen Training oder Datensätze. klarava wertet nur ungewollte Vollsperren steuerbarer Such-/Retrieval-Bots als aktuellen Readiness-Mangel.

Was sind KI-Crawler?

Es sind Bots, mit denen KI-Anbieter das Web lesen, entweder zum Trainieren von Modellen oder zum Holen aktueller Inhalte für Antworten. Jeder meldet sich mit einem User-Agent-Namen, den du in der robots.txt ansprechen kannst.

GPTBot (OpenAI): Trainingsdaten.
OAI-SearchBot (OpenAI): Inhalte für die ChatGPT-Suche.
Google-Extended (Google): steuert die Nutzung für Gemini/KI, getrennt von der normalen Google-Indexierung.
Claude-SearchBot / Claude-User (Anthropic): Suche bzw. nutzerausgelöster Abruf.
ClaudeBot (Anthropic): Training.
PerplexityBot (Perplexity).
CCBot (Common Crawl, Basis vieler KI-Datensätze).

Wie robots.txt sie steuert

Die robots.txt liegt im Root deiner Domain und sagt Crawlern, was sie holen dürfen. Du kannst Regeln pro User-Agent setzen. Seriöse KI-Crawler befolgen sie.

Beispiel: KI-Crawler erlauben, private Bereiche aussparen

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://deinedomain.de/sitemap.xml

Ein Wildcard User-agent: *, das Crawling erlaubt, lässt unterstützte Bots grundsätzlich herein. Entferne eine spezifische Sperre nur nach Prüfung ihres Zwecks: Eine Training-Sperre kann bewusst bleiben, eine ungewollte Search-Sperre sollte aufgehoben werden.

Die Abwägung

Training und aktuelles Retrieval sind getrennte Entscheidungen. Du kannst Trainingsbots aus Rechte- oder Content-Gründen sperren und zugleich Such-/Retrieval-Bots zulassen. Auch ein erlaubter Bot garantiert keine Nennung.

Wie klarava hilft

Der kostenlose Check ordnet Vollsperren nach Bot-Zweck. Nur steuerbare Search-/Retrieval-Sperren fließen als Sichtbarkeitsvoraussetzung in den GEO-Score; Training und Datensatz-Policy bleiben getrennt sichtbar.

Prüfe, ob KI-Crawler deine Seite erreichen, kostenlos.

Kostenlosen Check starten

Häufige Fragen

Soll ich KI-Crawler zulassen?

Entscheide nach Zweck. Für aktuelle Such- und Retrieval-Nutzung sollten die gewünschten Bots nicht ungewollt voll gesperrt sein. Training und Datensatz-Nutzung kannst du unabhängig nach deiner Content- und Rechtepolitik steuern.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

GPTBot ist OpenAIs Crawler für Trainingsdaten; OAI-SearchBot holt Inhalte für ChatGPT-Suchergebnisse. Du kannst sie in der robots.txt unabhängig erlauben oder blockieren.

Garantiert robots.txt das Blockieren?

robots.txt ist eine Direktive, die seriöse Crawler befolgen, keine harte technische Sperre. Echtes Verhindern braucht serverseitige Maßnahmen. Für KI-Sichtbarkeit zählt vor allem: blockiere nicht versehentlich die Crawler, die du willst. Mehr zu GEO & AEO