# robots.txt

> Wie die robots.txt automatischen Abrufern Grenzen setzt, warum sie keine Zugangssperre ist und welche Rolle sie bekommt, seit KI-Systeme das Web lesen.

Synonyms: robots.txt-Datei, Robots Exclusion Standard, Crawler-Steuerung

Die robots.txt liegt direkt unter der Domain und wird von automatischen Abrufern als Erstes geholt. Darin steht zeilenweise, welcher Abrufer welche Pfade betreten darf. Der Standard stammt aus den Neunzigern und ist bis heute die einzige dieser Dateien, die praktisch überall vorhanden ist.

Wichtig ist, was sie nicht ist: keine Zugangssperre. Ein Eintrag ist eine Bitte, kein Schloss — wer sich nicht daran hält, wird nicht daran gehindert. Vertrauliches gehört hinter eine Anmeldung, nicht in eine Verbotszeile. Umgekehrt kann ein zu strenger Eintrag dazu führen, dass Inhalte gar nicht erst gefunden werden.

Seit KI-Systeme das Web abrufen, hat die Datei eine zweite Aufgabe bekommen: Viele Anbieter benennen darin eigene Kennungen, über die sich ihr Zugriff getrennt regeln lässt. Wer entscheiden will, ob und wie die eigenen Inhalte in KI-Antworten auftauchen, fängt hier an.

---
Source: https://btlabs.dev/de/glossary/robots-txt
Last-Modified: 2026-08-16T04:56:20.712Z
Languages: [it](https://btlabs.dev/llms/it/glossary/robots-txt) · [en](https://btlabs.dev/llms/en/glossary/robots-txt)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)