Kann ich KI-Crawler mit der robots.txt blockieren?

Ja, für Bots, die sich daran halten. Die robots.txt ist freiwillig. Die echte Durchsetzung passiert in CDN und Firewall.

Schadet Google-Extended meinem Google-Ranking?

Laut Google nein. Google-Extended ist kein Rankingsignal und beeinflusst nicht, ob eine Seite in der Suche erscheint.

Was ist der Unterschied zwischen Googlebot und Google-Extended?

Googlebot-Regeln wirken auf die Google-Suche. Google-Extended steuert nur das Training und Grounding von Gemini.

Was passiert, wenn ich KI-Agenten sperre?

Laut Chris Green kann Ihr Angebot dann ganz aus KI-Antworten fallen, zum Beispiel aus Produktvergleichen.

Wer sollte über die Bot-Regeln entscheiden?

Laut Green SEO, Entwicklung, Sicherheit, Recht und Vertrieb gemeinsam.

KI-Crawler blockieren: Was robots.txt noch leistet

Veröffentlicht am 14. November 2026 · Aktualisiert am 14. November 2026 · 4 Min.

Kurz gesagt

KI-Crawler blockieren: Warum die robots.txt allein nicht reicht, welche Bot-Arten es gibt und was Google-Extended steuert. Mit Schritten für Ihre Website.

Mit KI erstellt. Verantwortlich: Vathanakone Prakosay. Aktualisiert am 14.11.2026.

Kurz gesagt: Wer KI-Crawler blockieren will, braucht mehr als eine Sperrliste in der robots.txt. Laut SEO-Berater Chris Green gibt es fünf Arten von Bots, und CDN oder Firewall setzen oft andere Regeln durch als die robots.txt. Bei Google steuert das Token Google-Extended nur KI-Training und Grounding, nicht das Ranking in der Suche.

KI-Crawler blockieren oder zulassen? Diese Frage stellen sich viele Website-Betreiber. Die Antwort entscheidet mit, ob Ihre Inhalte in KI-Antworten erscheinen. Chris Green, Technical Director bei Torque Partnership, hat am 13. November 2026 beschrieben, warum einfache Sperrlisten nicht mehr reichen. Hier lesen Sie, welche Bot-Arten es gibt, was die robots.txt kann und was Google zu Google-Extended sagt. Grundlagen zur Sichtbarkeit in KI-Suchen finden Sie auf der Seite AEO und GEO.

Welche Arten von Bots gibt es?

Chris Green unterscheidet fünf Gruppen. Jede hat einen anderen Zweck und andere Folgen, wenn Sie sie sperren.

Bot-Art	Zweck	Folge einer Sperre
klassische Such-Crawler	Seiten für den Suchindex erfassen	Seite fehlt in der Suche
KI-Trainings-Crawler	Texte für das Training von Modellen sammeln	Inhalte fließen nicht ins Training
Abruf-Bots (Retrieval)	Inhalte für eine Antwort nachladen	Seite fehlt als Quelle in KI-Antworten
vom Nutzer ausgelöste Abrufe	eine Seite auf Wunsch eines Nutzers öffnen	Nutzer bekommt die Seite nicht über die KI
autonome Agenten	Aufgaben erledigen, zum Beispiel Produkte vergleichen	Angebot kann ganz aus dem Vergleich fallen

Die Spalte „Folge einer Sperre“ fasst die Beschreibung von Green zusammen. Laut Green kostet die Sperre eines Agenten, der Produkte vergleicht, nicht nur eine Platzierung. Ihr Angebot fehlt dann womöglich ganz in der Antwort.

Dünne Glasscheibe vor einer massiven leuchtenden Mauer aus Glasblöcken, Symbol für robots.txt und Firewall — 🤖 Bild: KI-generiert

KI-Crawler blockieren: Reicht die robots.txt?

Nein, nicht allein. Die robots.txt ist eine freiwillige Absprache. Green schreibt: „Robots.txt is voluntary, and real enforcement may be happening without your SEO team knowing.“ Die echte Durchsetzung passiert laut Green in CDNs, Web Application Firewalls und Diensten zur Bot-Abwehr. Diese Systeme können Regeln anwenden, die der robots.txt widersprechen, ohne dass das SEO-Team davon weiß. Die robots.txt bleibt laut Green trotzdem nützlich.

Prüfen Sie darum neben der robots.txt auch die Bot-Einstellungen Ihres CDN und Ihrer Firewall. Welche Sicherheitsfunktionen auf einer Website zusammenspielen, zeigt die Seite Webseiten-Sicherheit.

Was steuert Google-Extended?

Google-Extended steuert nur, ob Google Ihre Inhalte für Gemini nutzen darf. Laut Google-Dokumentation (Stand 30.10.2026) betrifft das Token zwei Dinge: das Training künftiger Gemini-Modelle für die Gemini-Apps und die Vertex AI API sowie das Grounding, also die Einbindung von Inhalten aus dem Suchindex in Antworten von Gemini-Apps und Grounding with Google Search auf Vertex AI.

Google-Extended hat keinen eigenen User-Agent beim Crawlen. Es ist nur ein Token in der robots.txt.
Laut Google ist es kein Rankingsignal in der Google-Suche.
Laut Google beeinflusst es nicht, ob eine Seite in der Google-Suche erscheint.
Regeln für Googlebot wirken dagegen auf die Suche, auch auf Discover, Bilder, Videos und News.

Ein Eintrag sieht so aus:

User-agent: Google-Extended
Disallow: /

Google will laut derselben Seite Anfang 2027 auch das AIPREF-Signal unterstützen. Für andere KI-Anbieter gelten eigene Tokens. Nutzen Sie dafür die Dokumentation des jeweiligen Anbieters.

Reihe aus fünf runden Glasschaltern, der mittlere leuchtet, Symbol für eine bewusste Regel je Bot-Art — 🤖 Bild: KI-generiert

Wie gehen Sie jetzt vor?

Green rät, von Sperrlisten zu einer bewussten Bot-Richtlinie zu wechseln. Daraus ergeben sich diese Schritte:

Legen Sie fest, welche Bot-Art Sie zulassen und warum: Training, Abruf, Agenten.
Wägen Sie die Folgen ab: Sichtbarkeit in KI-Antworten gegen Schutz der Inhalte.
Stimmen Sie SEO, Entwicklung, Sicherheit, Recht und Vertrieb ab.
Setzen Sie die Regeln überall gleich um: robots.txt, CDN und Firewall.
Prüfen Sie die Regeln regelmäßig, weil neue Bots dazukommen.

Wie Inhalte in KI-Antworten zitiert werden, erklärt der Artikel Generative Engine Optimization. Warum Agenten beim Einkauf wichtiger werden, lesen Sie im Beitrag Agentic Commerce.

Quellen

Ursprungsquelle: Chris Green, Beitrag zum Bot-Management 2026, Substack, 13.11.2026, https://chrisgreenseo.substack.com/p/bot-management-in-2026-geo-elite
Chris Green, „AI Bot Management: Why SEOs Need More Than Block Lists“, Search Engine Journal, 13.11.2026, https://www.searchenginejournal.com/ai-bot-management-why-seos-need-more-than-block-lists/597148/
Google Search Central, „Google's common crawlers“, Stand 30.10.2026, https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers