robots.txt
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website. Sie sagt automatischen Abrufern, welche Bereiche sie betreten dürfen und welche nicht. Sie ist der älteste und mit Abstand am weitesten verbreitete dieser Wege.
Die robots.txt liegt direkt unter der Domain und wird von automatischen Abrufern als Erstes geholt. Darin steht zeilenweise, welcher Abrufer welche Pfade betreten darf. Der Standard stammt aus den Neunzigern und ist bis heute die einzige dieser Dateien, die praktisch überall vorhanden ist.
Wichtig ist, was sie nicht ist: keine Zugangssperre. Ein Eintrag ist eine Bitte, kein Schloss — wer sich nicht daran hält, wird nicht daran gehindert. Vertrauliches gehört hinter eine Anmeldung, nicht in eine Verbotszeile. Umgekehrt kann ein zu strenger Eintrag dazu führen, dass Inhalte gar nicht erst gefunden werden.
Seit KI-Systeme das Web abrufen, hat die Datei eine zweite Aufgabe bekommen: Viele Anbieter benennen darin eigene Kennungen, über die sich ihr Zugriff getrennt regeln lässt. Wer entscheiden will, ob und wie die eigenen Inhalte in KI-Antworten auftauchen, fängt hier an.
Verwandte Begriffe
Häufig gestellte Fragen.
Kann ich verhindern, dass KI mit meinen Inhalten trainiert — ohne unsichtbar zu werden?
Ja — mit einem TDM-Opt-out (TDMRep): einem maschinenlesbaren Nutzungsvorbehalt, der das Text-und-Data-Mining deiner Inhalte fürs KI-Training untersagt. Die rechtliche Grundlage liefert der EU-Rahmen, der Anbieter großer KI-Modelle verpflichtet, solche Vorbehalte zu respektieren. Das Lesen und Zitieren durch KI-Antwortsysteme bleibt dabei erlaubt — du bleibst sichtbar und zitierfähig, während deine Texte nicht dauerhaft in Modelle einfließen. Du legst die Regel einmal maschinenlesbar fest, statt sie nur in einen Rechtstext zu schreiben.
Brauche ich zwingend eine llms.txt?
Sie ist kein Google-Ranking-Signal (das sagt Google selbst) — aber in Minuten erstellt und für KI-Agenten als Orientierung nützlich. Ein günstiger Zusatz, kein Wundermittel.
Wie verbreitet sie wirklich ist, messen wir selbst: Stand August 2026 liefern 10,2 % der geprüften Domains eine llms.txt aus. Die Messung ist offengelegt im ai-discovery-radar.