robots.txt Validator & Tester

Syntax prüfen, Regeln analysieren und URL-Zugänglichkeit testen

📄

robots.txt hier ablegen

oder klicken zum Auswählen

Mehr als ein Syntax-Check — vollständige Regelanalyse

Eine robots.txt kann syntaktisch korrekt sein und trotzdem Fehler enthalten — falsch gesetzte Disallow-Regeln die wichtige Seiten blockieren, fehlende Sitemap-Einträge oder AI-Bots die ungewollt Zugriff haben. Dieser Validator analysiert die komplette Regelstruktur und zeigt konkrete Handlungsempfehlungen.

Was geprüft wird:

  • → Syntax & Struktur — Jede Zeile wird auf gültige Direktiven geprüft. Unbekannte oder falsch geschriebene Direktiven werden als Warnung markiert.
  • → User-agent Blöcke — Vollständige Analyse aller User-agent Gruppen: welche Bots erlaubt sind, welche blockiert, welche nur teilweise eingeschränkt.
  • → AI-Bot Kontrolle — Spezifische Auswertung für GPTBot, ClaudeBot, PerplexityBot und Google-Extended — auf einen Blick sichtbar welche AI-Crawler Zugriff haben.
  • → Sitemap-Einträge — Fehlende Sitemap-Deklaration wird erkannt und als Empfehlung angezeigt.
  • → Kritische Regeln — Disallow: / für Googlebot oder andere wichtige Crawler wird als kritischer Fehler markiert.
  • → URL-Tester — Nach der Validierung kann jede beliebige URL gegen die geladenen Regeln getestet werden — für jeden User-agent separat.

Die Validierung läuft komplett im Browser — deine robots.txt verlässt nie deinen Computer. URL eingeben, Datei hochladen oder Text direkt einfügen. Kostenlos, ohne Account.

Häufige Fragen zur robots.txt

Was ist eine robots.txt Datei? +

Eine robots.txt ist eine Textdatei im Stammverzeichnis einer Website (z.B. example.com/robots.txt). Sie teilt Suchmaschinen-Crawlern mit, welche Bereiche der Website gecrawlt und indexiert werden dürfen und welche nicht. Die Datei verwendet das Robots Exclusion Protocol mit Direktiven wie User-agent, Disallow, Allow und Sitemap.

Wie teste ich ob meine robots.txt korrekt ist? +

Mit diesem kostenlosen robots.txt Validator kannst du deine Datei auf drei Wegen prüfen: URL direkt eingeben (z.B. https://example.com/robots.txt), die Datei hochladen oder den Inhalt direkt einfügen. Das Tool prüft Syntax, Direktiven, Crawler-Regeln und zeigt Fehler sowie Warnungen mit konkreten Handlungsempfehlungen.

Was bedeutet Disallow: / in der robots.txt? +

Disallow: / blockiert einen Crawler vollständig von der gesamten Website. Wenn dies für User-agent: * oder speziell für Googlebot gesetzt ist, kann Google die Website nicht crawlen und indexieren — ein kritischer SEO-Fehler der sofortige Aufmerksamkeit erfordert.

Können AI-Bots wie ChatGPT durch robots.txt blockiert werden? +

Ja. OpenAI's GPTBot, Anthropic's ClaudeBot, Perplexity's PerplexityBot und Google's Google-Extended können alle über robots.txt blockiert werden. Wichtig: Diese Bots respektieren die robots.txt freiwillig — eine rechtliche Absicherung ersetzt sie nicht.

Was ist der Unterschied zwischen Disallow und noindex? +

Disallow verhindert das Crawlen, blockiert aber nicht zwingend die Indexierung — Google kann die URL trotzdem indexieren wenn andere Seiten darauf verlinken. Das noindex Meta-Tag erfordert hingegen dass die Seite erst gecrawlt wird. Für zuverlässige Nicht-Indexierung sollte beides kombiniert werden: Crawlen erlauben, aber noindex setzen.

Muss jede Website eine robots.txt haben? +

Nein, eine robots.txt ist technisch nicht verpflichtend. Ohne die Datei haben alle Crawler vollen Zugriff. Empfehlenswert ist sie trotzdem: Sie ermöglicht die Steuerung des Crawl-Budgets, schützt interne Bereiche vor versehentlicher Indexierung und erlaubt die Deklaration der XML-Sitemap.

Was macht der URL-Tester? +

Der URL-Tester prüft nach der Validierung ob eine bestimmte URL von einem bestimmten Crawler gecrawlt werden darf oder nicht. Einfach URL und User-agent (z.B. Googlebot, GPTBot) eingeben — das Tool wertet alle relevanten Disallow- und Allow-Regeln aus und zeigt das Ergebnis sofort an.