KI
ChatGPT
KI-Chatbot von OpenAI, der Websites über GPTBot crawlt. Nutzt gecrawlte Inhalte, um Fragen zu
beantworten. Websites können GPTBot in der robots.txt blockieren oder erlauben. Wichtig für
KI-Sichtbarkeit: strukturierte Daten und klare Inhalte.
KI
Claude
KI-Assistent von Anthropic, crawlt Websites mit ClaudeBot. Analysiert Inhalte für Kontext und
Antworten. Bevorzugt gut strukturierte, barrierefreie Websites mit klaren Metadaten und Schema.org
Markup.
SEO
Content-Qualität
Maß für die Qualität von Website-Inhalten. Faktoren: Textlänge, Text-Code-Verhältnis, interne
Verlinkung, Überschriftenstruktur, Listen und Tabellen. KI-Bots bevorzugen substanziellen, gut
strukturierten Content gegenüber dünnen Seiten.
SEO
Crawlability
Die Fähigkeit von Bots, eine Website zu durchsuchen. Wird beeinflusst durch robots.txt, Meta-Tags
(noindex/nofollow), Sitemaps und interne Verlinkung. Gute Crawlability ist essentiell für
KI-Sichtbarkeit.
Technisch
Canonical Tag
HTML-Element das die bevorzugte URL einer Seite definiert. Format: <link rel="canonical" href="https://example.com/seite/">. Verhindert Duplicate-Content-Probleme und hilft Bots, die kanonische Version zu indexieren.
KI
ClaudeBot
Offizieller Crawler von Anthropic für Claude. User-Agent: "ClaudeBot". Kann in robots.txt blockiert werden: "User-agent: ClaudeBot" + "Disallow: /". Crawlt Websites für das Trainieren und Aktualisieren des Claude KI-Modells.
SEO
Core Web Vitals
Drei Google-Metriken: LCP (Ladezeit), INP (Reaktionszeit) und CLS (visuelle Stabilität). Seit 2021 offizieller Rankingfaktor. AI-Crawler brechen bei langsamen Seiten früher ab als Googlebot.
Technisch
Crawl Budget
Die Anzahl an Seiten, die ein Bot pro Zeiteinheit crawlt. noindex-Seiten, Duplikate und langsame Server reduzieren das effektive Crawl Budget für wichtige Inhalte.