Was ist llms.txt?
llms.txt ist eine einfache Textdatei im Markdown-Format die im Stammverzeichnis einer Website liegt — erreichbar unter yourdomain.com/llms.txt. Sie enthält strukturierte Informationen über die Website, die speziell für Large Language Models (LLMs) wie ChatGPT, Claude und Perplexity aufbereitet sind.
Der Gedanke dahinter ist simpel: Wenn ein KI-System eine Website crawlt oder über sie Auskunft geben soll, hilft ein kompakter gut strukturierter Überblick dabei korrekte und vollständige Antworten zu liefern. Anstatt dass das Modell mühsam aus dutzenden Unterseiten Informationen zusammensetzen muss, findet es in llms.txt alles Wesentliche auf einen Blick.
Kurz gesagt: llms.txt ist eine freiwillige, maschinenlesbare Visitenkarte deiner Website — speziell für KI-Systeme geschrieben. Sie beantwortet die wichtigsten Fragen die ein LLM über deine Website haben könnte, bevor es anfängt zu crawlen.
Woher kommt der Standard?
Die llms.txt-Spezifikation wurde 2024 von Jeremy Howard vorgeschlagen — dem Mitgründer von fast.ai und einem der einflussreichsten KI-Forscher der letzten Jahre. Die Idee fand schnell Anklang in der KI- und Web-Community, unter anderem weil Anthropic (der Hersteller von Claude) die Spezifikation aktiv unterstützt und auf der eigenen Website eine llms.txt-Datei bereitstellt.
Der Standard ist bewusst einfach gehalten: Keine komplexe Syntax, kein neues Dateiformat, kein besonderer Parser nötig. Einfaches Markdown das jeder lesen und schreiben kann — und das gleichzeitig von Maschinen gut verarbeitbar ist.
Wichtig zu wissen: llms.txt ist bislang kein offizieller W3C-Standard. Es ist ein Community-Standard der sich in der Praxis etabliert — ähnlich wie robots.txt in den 1990ern, bevor es formalisiert wurde.
llms.txt vs. robots.txt — der Unterschied
| Merkmal | robots.txt | llms.txt |
|---|---|---|
| Zweck | Sagt Crawlern was sie NICHT crawlen dürfen | Erklärt KI was die Website IST |
| Format | Eigenes Schlüsselwort-Format | Markdown |
| Zielgruppe | Alle Web-Crawler | Speziell LLMs und KI-Systeme |
| Inhalt | Regeln und Verbote | Beschreibungen und Kontext |
| Standard | Offizieller RFC-Standard | Community-Standard (2024) |
| Verbreitung | Nahezu jede Website | Noch selten — wachsend |
Beide Dateien schließen sich nicht aus — im Gegenteil. robots.txt steuert den Zugriff, llms.txt liefert Kontext. Eine Website kann und sollte beides haben.
Wer liest llms.txt?
Die Datei wird von KI-Crawlern und LLM-Systemen gelesen die aktiv nach ihr suchen. Aktuell bekannte Unterstützer:
- Perplexity AI — liest llms.txt aktiv aus und nutzt den Inhalt für Antworten
- Anthropic / Claude — unterstützt den Standard offiziell, hat eigene llms.txt
- GPTBot — OpenAI hat den Standard noch nicht offiziell bestätigt, aber llms.txt wird bei der Verarbeitung berücksichtigt
- Weitere KI-Tools — das Ökosystem wächst, viele kleinere KI-Suchmaschinen unterstützen llms.txt bereits
Frühzeitig dabei sein lohnt sich: Derzeit haben weniger als 1% aller Websites eine llms.txt. Wer jetzt eine erstellt hat einen klaren Vorteil gegenüber Mitbewerbern die noch keinen KI-spezifischen Kontext bereitstellen.
Aufbau und Syntax
Eine llms.txt-Datei ist reines Markdown. Es gibt eine empfohlene Struktur die von den meisten KI-Systemen erwartet wird:
Pflichtfelder und optionale Felder
Streng genommen gibt es keine Pflichtfelder — llms.txt ist ein offener Standard. Empfohlen sind jedoch mindestens: Name/Titel der Website, eine kurze Beschreibung und Kontaktinformationen. Alles weitere ist optional aber nützlich.
Fertige Beispiele für verschiedene Website-Typen
Beispiel: SaaS-Tool / Web-Applikation
Beispiel: Lokales Unternehmen
Beispiel: Blog / Content-Website
Schritt-für-Schritt: llms.txt erstellen und deployen
Schritt 1: Datei erstellen
Erstelle eine neue Textdatei mit dem Namen llms.txt. Verwende dabei UTF-8-Kodierung ohne BOM. Schreibe den Inhalt im Markdown-Format nach dem Muster oben — angepasst auf deine Website.
Tipp: Du willst die llms.txt nicht manuell schreiben? Der llms.txt Generator von llmshub.de crawlt deine Website automatisch und befüllt alle Felder — du musst nur noch prüfen und herunterladen.
Schritt 2: In das Stammverzeichnis legen
Die Datei muss unter der Haupt-URL der Domain erreichbar sein: https://deinedomain.de/llms.txt. Bei den meisten Webservern bedeutet das: Datei ins Root-Verzeichnis des Webservers legen — dasselbe Verzeichnis wo auch index.html liegt.
Schritt 3: Content-Type prüfen
Der Webserver sollte die Datei als text/plain ausliefern. Das ist bei .txt-Dateien normalerweise automatisch der Fall. Zur Sicherheit testen:
Schritt 4: In robots.txt verlinken (optional aber empfohlen)
Damit KI-Crawler die llms.txt zuverlässig finden, kann man einen Hinweis am Ende der robots.txt ergänzen:
Hinweis: Eine standardisierte Direktive für llms.txt in robots.txt existiert noch nicht. Ein Kommentar schadet nicht, wird aber nicht von allen Crawlern ausgewertet. Wichtiger ist dass die Datei unter der korrekten URL erreichbar ist.
llms-full.txt — die erweiterte Variante
Neben llms.txt gibt es eine optionale Erweiterung: llms-full.txt. Diese Datei enthält den vollständigen Inhalt der wichtigsten Seiten in einer für LLMs optimierten Form — als eine einzige lesbare Datei.
Der Gedanke dahinter: Statt dass ein LLM dutzende Unterseiten einzeln crawlen muss, findet es in llms-full.txt den gesamten relevanten Content kompakt zusammengefasst. Das ist besonders für Dokumentationsseiten, Knowledge Bases oder umfangreiche Guides sinnvoll.
Für die meisten normalen Websites ist llms-full.txt ein Nice-to-have, keine Pflicht. llms.txt ist der wichtigere erste Schritt.
Checkliste
- llms.txt im Stammverzeichnis der Domain angelegt
- Datei unter yourdomain.de/llms.txt erreichbar (HTTP 200)
- Content-Type ist text/plain
- Mindestinhalt: Name, Beschreibung, Kontakt
- Markdown-Format korrekt (Überschriften mit ##)
- UTF-8 ohne BOM gespeichert
- Hinweis in robots.txt ergänzt (optional)
- Inhalt regelmäßig aktuell halten
Hat deine Website eine llms.txt?
AI-Ready Check prüft kostenlos ob deine llms.txt vorhanden und korrekt erreichbar ist — zusammen mit 20 weiteren Faktoren für KI-Sichtbarkeit.
Jetzt kostenlos testen →
Deine Seite hat bereits eine llms.txt aber du bist dir unsicher, ob sie inhaltlich und technisch einwandfrei ist?
→ Jetzt mit llmshub.de validieren