robots.txt Generator

Vollständiger robots.txt Generator mit AI-Bot Kontrolle

AI-Bots Kontrolle
GPTBot (ChatGPT)
OpenAI's Crawler für ChatGPT Training
ClaudeBot (Claude)
Anthropic's Crawler für Claude Training
PerplexityBot (Perplexity)
Perplexity's Search Crawler
Google-Extended (Gemini)
Google's AI Training Crawler
Googlebot (Standard)
Google's Standard-Crawler für Suche
Bingbot
Microsoft Bing Crawler
Blockierte Pfade (Disallow)
Erlaubte Pfade (Allow)
Erweiterte Einstellungen
Optional: Verzögerung zwischen Requests
Bevorzugte Domain (für Yandex)