
Cloudflare und KI-Training: was das Radar im November zeigt
Berger+Team · 18.11.2026
Thema: Forschung
Bei vielen Websites schreibt Cloudflare einen Abschnitt in die robots.txt, der KI-Training ausschließen kann. Im November 2026 schloss er bei 5,9 % von 1.000 beliebten Websites, die wir jeden Monat prüfen, das Training aus. Unter den Websites, die über Cloudflare laufen, war es etwa jede siebte. Meist sperrt er nur Crawler, die Texte für das Training von KI-Modellen sammeln. Die Suche in ChatGPT oder Perplexity und Abrufe im Auftrag von Nutzern bleiben dann offen. Bei einem kleinen Teil sperrt er mehr.
So prüfst du deine robots.txt
Drei Schritte reichen, auch ohne technisches Wissen:
- Öffne im Browser die Adresse deiner Website mit /robots.txt am Ende, zum Beispiel [dein-betrieb].it/robots.txt.
- Suche nach der Zeile „# BEGIN Cloudflare Managed content“. Steht sie dort, stammt der Abschnitt aus den Einstellungen bei Cloudflare. Steht darin „# Training crawlers“ oder „User-agent: GPTBot“ mit „Disallow: /“, schließt er KI-Training aus.
- Schau, ob darunter auch „# AI Agents“ oder „# AI Search crawlers“ steht. Dann bittest du auch KI-Assistenten, die für einen Nutzer deine Seite abrufen, und die Suche der KI-Dienste, fernzubleiben.
Ob du das willst, ist deine Entscheidung. Einstellen lässt es sich bei Cloudflare.
Was der Eintrag sperrt und was nicht
Der Abschnitt „# Training crawlers“ nennt Crawler wie GPTBot, ClaudeBot, CCBot, Google-Extended und Bytespider. Sie sammeln Inhalte für das Training von KI-Modellen. Der Googlebot bleibt unberührt und damit auch die Google-Suche samt Übersicht mit KI. Google-Extended steuert das Training von Gemini und, ob Gemini-Dienste Inhalte als Grundlage für Antworten nutzen dürfen.
Im größeren Panel von 10.000 Domains stand im November 2026 bei 420 von 439 Einträgen in neuer Form nur dieser Abschnitt. 19 sperrten zusätzlich KI-Agenten, 6 davon auch die KI-Suche.
Eine robots.txt ist eine Bitte an Crawler, keine technische Sperre. Ob Cloudflare dieselben Crawler zusätzlich abweist, messen wir nicht.
Die Zahlen: dieselben 1.000 Websites, drei Monate
Gezählt sind die Websites, deren robots.txt wir lesen konnten, rund 700 je Monat, und davon die, bei denen Cloudflares Abschnitt KI-Training ausschließt. In Klammern steht das 95-%-Intervall.
- September 2026: 48 von 704, 6,8 % (5,2–8,9 %)
- Oktober 2026: 3 von 700, 0,4 % (0,1–1,3 %)
- November 2026: 41 von 695, 5,9 % (4,4–7,9 %)
Der Anstieg von Oktober auf November ist echt, die Intervalle überlappen sich nicht. Über drei Monate ist es eine Rückkehr auf das Niveau vom September. Die Stichprobe mit 10.000 Domains zeigt dasselbe Bild: 0,3 % im Oktober (21 von 6.896, 0,2–0,5 %) und 6,4 % im November (442 von 6.951, 5,8–7,0 %).
Alle 41 Einträge stammen von Websites, die ihre robots.txt über Cloudflare ausliefern. Von diesen 293 Websites schloss im November bei 41 der Abschnitt das Training aus, 14,0 % (10,5–18,4 %), also etwa jede siebte. Im Oktober waren es 3 von 289, 1,0 % (0,4–3,0 %). Bei weiteren 9 Websites stand von Cloudflare nur ein rechtlicher Vorspann ohne Regel; der Vorspann selbst schließt nichts aus.
Im großen Panel mit 10.000 Domains ist der Anteil ähnlich: Von 2.901 Websites, die ihre robots.txt über Cloudflare ausliefern, schloss im November bei 442 der Abschnitt das Training aus, 15,2 % (14,0–16,6 %), also etwa jede siebte. Ohne Cloudflares Abschnitt schließen dort weitere 826 Websites Trainings-Crawler mit eigenen Zeilen aus, ein Teil davon, indem sie alle Crawler aussperren. Das sind mehr als über den Abschnitt.
Woher die Bewegung kommt
Cloudflare hatte angekündigt, die alte Form des Eintrags zum 15. September 2026 abzulösen. Dazu passt der Rückgang im Oktober. Die neue Form mit der Zeile „# Training crawlers“ breitet sich seit etwa Ende Oktober aus: Im November hatten alle 41 Einträge mit Trainings-Ausschluss diese Form. Sie passt zu einer Funktion, die Cloudflare am 21. August 2026 vorgestellt hat und die Einträge getrennt nach Suche, Agenten und Training schreibt. Dass die neue Form von dort stammt, ist wahrscheinlich, aber nicht belegt.
Ob ein Betreiber den Eintrag selbst gewählt hat oder ob er als Standard kam, messen wir nicht. Die Zahlen zeigen, wie verbreitet er ist, nicht, wie viele Betriebe sich gegen KI-Training entschieden haben.
Was sonst gleich blieb
Außer dem Cloudflare-Eintrag hat sich im November keine Datei messbar verändert. llms.txt liegt bei 16,6 % (110 von 661, 14,0–19,7 %), nach 13,5 % im September (90 von 669, 11,1–16,2 %). Die Richtung zeigt nach oben, der Abstand liegt aber noch im Rauschen. robots.txt, sitemap.xml und security.txt blieben flach, Dateien eigens für KI-Agenten sind weiter Einzelfälle.
So haben wir gemessen
Gemessen haben wir dieselben 1.000 Domains aus Ranglisten beliebter Websites, vom 1. bis 3. September, 1. bis 5. Oktober und 1. bis 5. November 2026. Die Vergleichszahlen stammen aus dem Panel, das seit Oktober auf 10.000 Domains erweitert ist. Die Monatsanteile je Datei stehen im Datensatz v2026.11 (DOI 10.5281/zenodo.23998918). Die Cloudflare-Zahlen haben wir aus den Rohdaten der Messung ausgezählt. Die Domains sind keine Zufallsstichprobe des Webs. Ob sich ein Crawler an die robots.txt hält, misst das Radar nicht. Was der September für sich zeigte, steht in Was der September zeigt.
Alle Monatszahlen mit Intervall und Datensatz findest du auf der Radar-Seite.
Häufig gestellte Fragen.
Was misst das ai-discovery-radar?
Das ai-discovery-radar misst, wie viele Websites einer eingefrorenen Stichprobe von 30.000 Domains (jeden Monat ein Drittel davon plus ein festes Panel) 37 katalogisierte maschinenlesbare Discovery- und Consent-Dateien tatsächlich ausliefern — etwa robots.txt, llms.txt, TDMRep oder Agent-Cards. Gezählt wird Verfügbarkeit, nicht Nutzung.
Brauche ich zwingend eine llms.txt?
Sie ist kein Google-Ranking-Signal (das sagt Google selbst) — aber in Minuten erstellt und für KI-Agenten als Orientierung nützlich. Ein günstiger Zusatz, kein Wundermittel.
Wie verbreitet sie wirklich ist, messen wir selbst: Stand November 2026 liefern 14,8 % der geprüften Domains im Panel von 10.000 eine llms.txt aus. Die Messung ist offengelegt im ai-discovery-radar.
Bedeutet 0 % im Panel, dass niemand das Format nutzt?
Nein. Bei seltenen Routen ist eine Null auf 1.000 Domains ein Stichprobenboden: Im zehnmal größeren Block desselben Monats bleiben nur 4 statt 16 Wege bei null. Ab dem Oktober-Lauf 2026 wächst das Panel deshalb auf 10.000 Domains.


