robots.txt, sitemap.xml und llms.txt erklärt

Wofür die drei Dateien gut sind, was in ihnen steht, was sie nicht können und warum die llms.txt ein freiwilliger Vorschlag ohne belegten Nutzen ist.

Kurz gesagt: Die robots.txt sagt Suchmaschinen-Crawlern, welche Bereiche sie lesen dürfen. Sie ist kein Mittel, eine Seite aus Google herauszuhalten. Die sitemap.xml listet die Adressen auf, die Suchmaschinen kennen sollen. Die llms.txt ist ein Vorschlag für eine Übersicht in Markdown, die KI-Assistenten lesen können. Sie ist freiwillig, kein Standard, und ein Nutzen für die Auffindbarkeit ist nicht belegt.

Was steht in der robots.txt?

Die robots.txt liegt im Hauptverzeichnis Ihrer Domain, also unter https://ihre-domain.de/robots.txt. Sie besteht aus Gruppen: Eine Zeile „User-agent“ nennt den Crawler, darunter stehen „Disallow“- und „Allow“-Regeln. Ein Beispiel:

User-agent: *
Disallow: /intern/
Allow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Hier dürfen alle Crawler die Website lesen, außer dem Bereich „/intern/“. Die Zeile „Sitemap“ verweist auf die Sitemap. Fehlt die robots.txt ganz, dürfen Crawler alles lesen. Das ist erlaubt, nur verschenken Sie die Möglichkeit, die Sitemap zu nennen und Bereiche auszuschließen.

Was kann die robots.txt nicht?

Google schreibt selbst, dass die robots.txt vor allem dazu dient, den Datenverkehr von Crawlern zu steuern, und dass sie kein Mechanismus ist, eine Seite aus Google herauszuhalten. Dafür ist die Angabe „noindex“ oder ein Passwortschutz gedacht. Zwei Folgen davon:

  • Eine gesperrte Adresse kann trotzdem in den Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken.
  • Nicht alle Crawler halten sich an die Datei. Große, seriöse Suchmaschinen tun es, andere nicht. Vertrauliche Inhalte gehören nie nur hinter einen „Disallow“, sondern hinter einen Zugangsschutz.

Welcher Fehler in der robots.txt ist besonders teuer?

Ein „Disallow: /“ für alle Crawler sperrt die gesamte Website. Auf einer Testumgebung ist das gewollt. Kritisch wird es, wenn die Datei beim Umzug auf die Live-Website mitwandert. Die Seiten können dann nach und nach aus den Suchergebnissen verschwinden. Der Website-Check meldet diesen Fall deshalb als Problem und nicht nur als Hinweis.

Wofür ist die sitemap.xml gut?

Die Sitemap ist eine Liste Ihrer Adressen im XML-Format. Sie hilft Suchmaschinen, neue und tief liegende Seiten schneller zu finden. Bei einer kleinen, gut verlinkten Website verkraften Suchmaschinen eine fehlende Sitemap, bei wachsenden Seiten wird sie wichtiger. Nach dem Sitemap-Protokoll gilt:

RegelWert
Adressen je Sitemap-Dateihöchstens 50.000
Dateigrößehöchstens 50 MB (unkomprimiert), gzip ist erlaubt
Länge einer Adresseweniger als 2.048 Zeichen
Host und Protokollalle Adressen derselben Sitemap auf demselben Host
Mehrere Dateienüber einen Sitemap-Index, der auf die einzelnen Dateien verweist

In die Sitemap gehören nur Adressen, die Sie in der Suche haben wollen: erreichbar (Status 200), nicht gesperrt und nicht per „noindex“ ausgeschlossen. Bei WordPress, TYPO3 und den meisten Shop-Systemen erzeugen Plugins oder Module die Datei automatisch.

Was ist die llms.txt?

Die llms.txt ist ein Vorschlag, den Jeremy Howard im September 2024 veröffentlicht hat. Gemeint ist eine Markdown-Datei im Hauptverzeichnis (/llms.txt), die KI-Assistenten eine knappe, von Ihnen kuratierte Übersicht Ihrer Website gibt, ohne dass sie das ganze HTML auswerten müssen. Der Aufbau:

  • Eine Überschrift der ersten Ebene mit dem Namen der Website. Das ist der einzige Pflichtteil.
  • Eine kurze Zusammenfassung als Zitatblock.
  • Optional weitere Absätze ohne Überschriften.
  • Abschnitte mit Überschriften der zweiten Ebene, darin Listen von Links mit kurzer Beschreibung.
  • Optional ein Abschnitt „Optional“ für Nebensächliches.

Die Beschreibung des Vorschlags nennt ihn selbst einen Vorschlag zum Mitgestalten und keinen formal beschlossenen Standard. Verbreitet ist er trotzdem, es gibt Dokumentationsplattformen, die ihn erzeugen. Ob KI-Suchen die Datei auswerten und ob sich dadurch die Auffindbarkeit ändert, ist nicht belegt. Wir behaupten deshalb keinen Nutzen. Sie ist schnell angelegt und fasst zusammen, was Sie anbieten, mehr nicht. Diese Website bietet sie ebenfalls an, als Experiment.

Sollten Sie KI-Crawler in der robots.txt sperren?

Das ist Ihre Entscheidung, und sie hat Folgen in beide Richtungen. Namen bekannter KI-Crawler sind zum Beispiel GPTBot, ClaudeBot, PerplexityBot, CCBot und Google-Extended. Wer sie sperrt, hält sein Material aus dem Training oder der Suche dieser Anbieter heraus und erscheint dort womöglich nicht in Antworten. Wer sie zulässt, kann dort genannt werden, gibt aber Inhalte frei. Sperren Sie nur bewusst, und schreiben Sie die Regel gezielt für den einzelnen Crawler. Ein „Disallow: /“ für alle Crawler sperrt auch Google und Bing.

Wie legen Sie die drei Dateien an?

  1. robots.txt: Mit einer einfachen Regel für alle Crawler und der Sitemap-Zeile beginnen. Im Browser unter /robots.txt prüfen. Sie sollte als Text ausgeliefert werden, nicht als HTML-Fehlerseite.
  2. sitemap.xml: Vom CMS erzeugen lassen und in der robots.txt nennen. Bei den Suchmaschinen über die Search Console oder die Webmaster-Werkzeuge anmelden.
  3. llms.txt: Eine Seite Markdown mit Name, Zusammenfassung und den wichtigsten Seiten. Ohne Erwartung an ein bestimmtes Ergebnis.
  4. Prüfen: Nach jedem Umzug, Relaunch oder Wechsel des Systems die drei Dateien erneut ansehen.

Passendes Werkzeug

Der Website-Check ruft die drei Dateien Ihrer Website ab und meldet, ob sie vorhanden sind, ob die robots.txt alles sperrt, ob die Sitemap gültig ist und wie viele Adressen sie enthält. Eine fehlende Datei ist ein Hinweis, nur eine komplette Sperre ein Problem. Das Werkzeug ist kostenlos, ohne Anmeldung, und das Ergebnis wird nicht gespeichert. Die Anlage der Dateien übernehmen wir im Rahmen unserer Webentwicklung.

Häufige Fragen

Muss jede Website eine robots.txt haben?

Nein. Ohne Datei dürfen Crawler alles lesen. Sinnvoll ist sie, sobald Sie Bereiche ausschließen oder die Sitemap nennen wollen.

Wie halte ich eine Seite aus den Suchergebnissen heraus?

Mit der Angabe „noindex“ in der Seite oder einem Passwortschutz, nicht mit „Disallow“. Eine gesperrte Seite kann weiter gelistet werden, wenn andere auf sie verlinken.

Wie viele Adressen darf eine Sitemap enthalten?

Höchstens 50.000 Adressen und 50 MB je Datei. Größere Websites nutzen einen Sitemap-Index.

Bringt eine llms.txt bessere Platzierungen in KI-Antworten?

Das ist nicht belegt. Es ist ein Vorschlag, kein Standard. Behandeln Sie sie als kleine, freiwillige Zusatzinformation.

Wo bekomme ich die Dateien her?

Die meisten Content-Management-Systeme erzeugen robots.txt und sitemap.xml selbst oder per Erweiterung. Die llms.txt schreiben Sie von Hand oder lassen sie von Ihrem Entwickler erzeugen.

Quellen

Fragen zu diesem Thema?

Wir ordnen ein, was das konkret für Ihr Produkt oder Ihren Prozess bedeutet.

Dieser Beitrag ist eine technische Einordnung und ersetzt keine Rechtsberatung. Maßgeblich sind die Primärquellen.

Erst verstehen. Dann bauen.

Beschreiben Sie kurz Ausgangslage und Ziel. Sie bekommen eine persönliche Antwort mit den Fragen, die für einen sinnvollen Scope wichtig sind.