seoturboscan.com · SEO-Leitfaden

Robots.txt richtig konfigurieren (2026)

Robots.txt richtig konfigurieren: Anleitung mit Vorlagen und häufigen Fehlern

Die robots.txt ist eine winzige Textdatei im Hauptverzeichnis deiner Webseite — und gleichzeitig eine der mächtigsten SEO-Stellschrauben überhaupt. Sie sagt Suchmaschinen-Crawlern, welche Bereiche sie aufrufen dürfen und welche nicht. Ein Fehler in einer einzigen Zeile kann deine komplette Webseite aus den Google-Ergebnissen verschwinden lassen.

Aufbau der robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.deinedomain.de/sitemap.xml

4 fertige Vorlagen

Vorlage 1: Standard WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.deinedomain.de/sitemap_index.xml

Vorlage 2: Alles erlauben (maximale Indexierung)

User-agent: *
Allow: /
Sitemap: https://www.deinedomain.de/sitemap.xml

Die 6 gefährlichsten Fehler in der robots.txt

  1. Disallow: / — blockiert die gesamte Website
  2. Sitemap-URL nicht angegeben
  3. Wichtige Seiten versehentlich blockiert
  4. CSS und JavaScript blockiert (verhindert Rendering)
  5. Groß-/Kleinschreibung ignoriert (robots.txt ist case-sensitive für Pfade)
  6. Trailing Slash vergessen

robots.txt testen

Nutze das Google robots.txt-Testtool in der Search Console.

Teil des Vatha-Netzwerks.