Robots.txt richtig konfigurieren (2026)

Robots.txt richtig konfigurieren: Anleitung mit Vorlagen und häufigen Fehlern

Die robots.txt ist eine winzige Textdatei im Hauptverzeichnis deiner Webseite — und gleichzeitig eine der mächtigsten SEO-Stellschrauben überhaupt. Sie sagt Suchmaschinen-Crawlern, welche Bereiche sie aufrufen dürfen und welche nicht. Ein Fehler in einer einzigen Zeile kann deine komplette Webseite aus den Google-Ergebnissen verschwinden lassen.

Aufbau der robots.txt

User-agent: *Disallow: /wp-admin/Disallow: /cart/Disallow: /checkout/Allow: /wp-admin/admin-ajax.phpSitemap: https://www.deinedomain.de/sitemap.xml

4 fertige Vorlagen

Vorlage 1: Standard WordPress

User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://www.deinedomain.de/sitemap_index.xml

Vorlage 2: Alles erlauben (maximale Indexierung)

User-agent: *Allow: /Sitemap: https://www.deinedomain.de/sitemap.xml

Die 6 gefährlichsten Fehler in der robots.txt

Disallow: / — blockiert die gesamte Website
Sitemap-URL nicht angegeben
Wichtige Seiten versehentlich blockiert
CSS und JavaScript blockiert (verhindert Rendering)
Groß-/Kleinschreibung ignoriert (robots.txt ist case-sensitive für Pfade)
Trailing Slash vergessen

robots.txt testen

Nutze das Google robots.txt-Testtool in der Search Console.

Teil des Vatha-Netzwerks.