KI-Crawler erlauben oder blockieren: Was solltest Du 2026 tun?

Welche KI-Crawler besuchen Deine Website?

Wer heute eine Website betreibt, bekommt Besuch von deutlich mehr als nur dem Googlebot. Von OpenAI kommen GPTBot (User-Agent GPTBot/1.1), OAI-SearchBot und ChatGPT-User. Von Anthropic besuchen Dich laut deren aktueller Bot-Liste ClaudeBot, Claude-SearchBot und Claude-User (Quelle: No Hacks, AI User-Agent Landscape 2026). Dazu kommen Google-Extended für Googles generative KI, PerplexityBot sowie CCBot vom Common-Crawl-Projekt, aus dem viele Modelle ihre Trainingsdaten ziehen.

Diese Bots identifizieren sich über ihren User-Agent-String, und genau daran steuerst Du sie in Deiner robots.txt. Wichtig ist, dass Du sie nicht als anonyme Masse behandelst, denn hinter den Namen stecken sehr unterschiedliche Aufgaben. Wenn Du verstehst, welcher Bot wofür da ist, triffst Du eine klügere Entscheidung als mit einem pauschalen Rundumschlag. Das größere Bild dazu liest Du in unserem Beitrag zu Generative Engine Optimization.

Was ist der Unterschied zwischen Training- und Such-Crawlern?

Es gibt grob drei Typen. Trainings-Crawler wie GPTBot, ClaudeBot und Google-Extended sammeln Inhalte, um damit die Sprachmodelle selbst zu trainieren. Such-Crawler wie OAI-SearchBot und Claude-SearchBot bauen dagegen einen Suchindex auf, aus dem ChatGPT und Claude live Antworten mit Quellenlink ziehen. Der dritte Typ, ChatGPT-User und Claude-User, holt eine einzelne Seite erst dann, wenn ein Mensch gerade eine Frage stellt und das Modell Deine Seite als Beleg öffnet (Quelle: OpenAI, Overview of Crawlers 2026).

Dieser Unterschied ist der ganze Hebel. Du kannst OAI-SearchBot erlauben, um in ChatGPTs Suchantworten aufzutauchen, und gleichzeitig GPTBot sperren, damit Dein Inhalt nicht ins Modelltraining wandert. Beide Entscheidungen sind unabhängig voneinander in der robots.txt steuerbar. Genau diese Trennung übersehen die meisten, die reflexartig alles blocken.

Schadest Du Dir, wenn Du alle KI-Bots blockierst?

In den meisten Fällen ja. Eine Studie unter Nachrichten-Publishern zeigte, dass das Blockieren von KI-Crawlern rund 7 Prozent des Referral-Traffics kostete (Quelle: PPC Land, 2025). Noch deutlicher wird es bei der Suche. Als Publisher-Seiten den PerplexityBot per robots.txt aussperrten, fielen ihre Zitationsraten für genau die Anfragen, für die sie vorher genannt wurden, innerhalb von 48 Stunden auf null (Quelle: OtterlyAI, AI Citations Report 2026).

Der entscheidende Punkt ist die Trennung von Trainings- und Such-Crawler, denn beide haben völlig verschiedene Folgen. Das Blockieren von GPTBot hatte in Publisher-Analysen keinen messbaren Effekt auf die Google-Rankings, das Sperren von OAI-SearchBot nimmt Dich dagegen komplett aus den ChatGPT-Suchantworten. Wer alles blockt, verliert also seine KI-Sichtbarkeit, ohne im Gegenzug irgendetwas zu gewinnen. Ob Du überhaupt schon zitiert wirst, prüfst Du mit unserer Checkliste, wie Du von KI empfohlen wirst.

Was sagen EU AI Act und DSGVO zum Opt-out?

Der EU AI Act verpflichtet Anbieter großer KI-Modelle, maschinenlesbare Rechtevorbehalte gegen Text und Data Mining zu respektieren. Das Oberlandesgericht Hamburg entschied am 10. Dezember 2025, dass ein Opt-out im Fließtext der Nutzungsbedingungen nicht ausreicht, der Vorbehalt muss maschinenlesbar sein, etwa per robots.txt, per HTTP-Header TDM-Reservation: 1 oder über ai.txt (Quelle: RAILS Blog, 2025). Ein sauber gepflegtes robots.txt ist damit nicht nur SEO, sondern Dein rechtliches Werkzeug.

Die EU-Kommission hat am 1. Dezember 2025 eine Konsultation zu einheitlichen Opt-out-Protokollen gestartet, eine abgestimmte Liste soll bis Ende 2026 vorliegen (Quelle: Europäische Kommission, 2025). Für die DSGVO gilt getrennt davon: Enthält Deine Seite personenbezogene Daten, hast Du ein berechtigtes Interesse, deren ungefragte Verarbeitung zu Trainingszwecken zu unterbinden. Praktisch heißt das, Du dokumentierst Deine Entscheidung maschinenlesbar und stehst rechtlich auf festem Boden.

Wie sieht eine sinnvolle robots.txt für 2026 aus?

Für die meisten lokalen Dienstleister und B2B-Anbieter lautet die Empfehlung: Such- und Antwort-Crawler erlauben, Trainings-Crawler nach eigener Präferenz behandeln. Konkret lässt Du OAI-SearchBot, Claude-SearchBot, PerplexityBot sowie die User-Fetcher ChatGPT-User und Claude-User zu, damit Du in KI-Antworten sichtbar bleibst. GPTBot, ClaudeBot, CCBot und Google-Extended sperrst Du nur, wenn Dir die Trainingsnutzung ausdrücklich widerstrebt, denn diese Sperre kostet Dich keine Sichtbarkeit in der Suche.

Ein Wort der Warnung zu fertigen Copy-Paste-Vorlagen: Viele im Netz kursierende robots.txt-Dateien blocken pauschal alles mit KI im Namen und nehmen Dich damit unbeabsichtigt aus den Suchantworten. Prüfe jede Zeile gegen den Zweck des jeweiligen Bots. Wenn Du unsicher bist, ob Deine aktuelle Konfiguration Dich sichtbar oder unsichtbar macht, sieh Dir im kostenlosen GEO-Check an, wo Du in KI-Antworten heute stehst, und leite die passende robots.txt daraus ab.

Häufige Fragen

Quellen

• OpenAI, Overview of Crawlers 2026
• No Hacks, The AI User-Agent Landscape in 2026
• PPC Land, Blocking AI crawlers cost news publishers 7% of traffic (2025)
• OtterlyAI, The AI Citations Report 2026
• RAILS Blog, OLG Hamburg zu TDM und robots.txt (2025)
• Europäische Kommission, Konsultation TDM-Opt-out-Protokolle (2025)