llms.txt und llms-full.txt: Was ist das?
Was hinter den neuen Textdateien für KI Crawler steckt und ob sich der Aufwand lohnt.
Wer in letzter Zeit SEO News verfolgt hat, ist vielleicht über zwei Dateinamen gestolpert: llms.txt und llms-full.txt. Klingt technisch, klingt wichtig, klingt nach etwas das man sofort auf seiner Website haben sollte. Aber was steckt wirklich dahinter?
Kurz gesagt: llms.txt ist eine Textdatei die im Root einer Website liegt, also unter example.com/llms.txt. Sie ist dafür gedacht, großen Sprachmodellen wie ChatGPT, Claude oder Gemini eine kompakte, maschinenlesbare Zusammenfassung der Website zu liefern. Quasi eine robots.txt, nur nicht für klassische Suchmaschinen Crawler, sondern für KI Systeme.
Die Idee kommt von Jeremy Howard, dem Gründer von fast.ai. Sein Vorschlag: Statt dass ein LLM sich durch hunderte HTML Seiten, Cookie Banner und JavaScript Frameworks wühlen muss, gibt man ihm eine sauber formatierte Textdatei mit den wichtigsten Infos. Name der Website, worum es geht, welche Seiten relevant sind, was die Kernthemen sind.
llms.txt ist dabei die Kurzversion. Kompakt, auf das Wesentliche reduziert, ein paar hundert Zeilen maximal. llms-full.txt ist die ausführliche Variante mit mehr Detail, längeren Beschreibungen und tieferen Einblicken in die Inhalte.
Jetzt die spannende Frage: Wird das wirklich gecrawlt?
Ehrlich gesagt: Stand heute eher wenig. OpenAI hat GPTBot als Crawler, Anthropic hat ClaudeBot, Google hat seinen eigenen. Aber keiner dieser Crawler sucht aktuell gezielt nach einer llms.txt Datei so wie Googlebot nach der robots.txt oder sitemap.xml schaut. Das Format ist ein Vorschlag, kein Standard. Es gibt keine offizielle Spezifikation von Google, OpenAI oder Anthropic die sagt: Ja, wir lesen diese Datei aus.
Trotzdem ist die Idee nicht schlecht. Und zwar aus mehreren Gründen.
Erstens: Wenn du mit KI Tools arbeitest die Webseiten analysieren, zum Beispiel mit Perplexity, ChatGPT mit Browsing oder Claude mit MCP, dann kann eine llms.txt als schnelle Referenz dienen. Das Tool muss nicht die gesamte Seite parsen sondern bekommt eine saubere Zusammenfassung. Das spart Tokens und liefert bessere Ergebnisse.
Zweitens: Falls LLM Crawler in Zukunft tatsächlich nach so einer Datei suchen, bist du vorbereitet. Early Adopter Vorteil. Ähnlich wie damals bei der sitemap.xml die auch Jahre gebraucht hat bis sie wirklich zum Standard wurde.
Drittens: Es zwingt dich dazu, über deine Website Struktur nachzudenken. Was sind die wichtigsten Seiten? Was ist die Kernbotschaft? Das ist an sich schon eine wertvolle Übung.
Wie sieht so eine llms.txt aus? Ziemlich simpel: Der erste Abschnitt beschreibt die Website. Ein Titel, eine kurze Beschreibung in ein bis zwei Sätzen. Dann folgt eine Liste der wichtigsten Seiten mit URL und kurzer Erklärung was dort zu finden ist. Optional kann man Kontaktinfos, Hauptthemen oder eine Zusammenfassung der Dienstleistungen einfügen. Das Format ist bewusst einfach gehalten, reiner Text, keine HTML Tags, kein JSON, kein XML.
Die llms-full.txt geht tiefer. Hier kann man ganze Absätze zu einzelnen Seiten schreiben, Blogposts zusammenfassen, Portfolio Projekte beschreiben. Alles was einem LLM helfen könnte die Website wirklich zu verstehen.
Kann man damit sein Crawling verbessern? Nicht direkt. Die großen Suchmaschinen Crawler ignorieren die Datei aktuell. Aber man kann indirekt profitieren. Wenn KI gestützte Suchsysteme wie Perplexity oder Google SGE deine Inhalte besser verstehen, wirst du eher als Quelle zitiert. Und zitiert werden in KI Antworten ist das neue Ranking.
Mein Rat: Wenn du eine neue Website baust oder gerade sowieso an der SEO Struktur arbeitest, leg eine llms.txt an. Kostet dich 20 Minuten, schadet nicht und könnte in Zukunft relevant werden. Wenn du eine bestehende Website hast und gerade andere Baustellen offen sind, hat es keine Eile. Es ist kein Ranking Faktor und wird es vermutlich auch nicht so schnell werden.
Was du auf keinen Fall tun solltest: Keyword Stuffing in der llms.txt betreiben. Die Datei ist für Maschinen gedacht die natürliche Sprache verstehen. Die merken sofort wenn du versuchst sie zu manipulieren. Schreib einfach ehrlich und klar auf was deine Website macht und für wen. Das reicht.
In diesem Sinne: llms.txt ist ein nettes Experiment am Rand der SEO Welt. Kein Must Have, aber ein interessanter Blick in die Zukunft. Und wer weiß, vielleicht liest in zwei Jahren jeder KI Crawler als erstes diese Datei. Dann warst du halt schon vorbereitet.