# Cloudflare und KI-Training: was das Radar im November zeigt

> Auf 1.000 Websites schloss im November 2026 bei 5,9 % ein Cloudflare-Abschnitt in der robots.txt KI-Training aus. Was er ausschließt und was nicht.

![Mintfarbene Strichzeichnung auf Schwarz: zwei gleiche gestufte Plattformen mit fast gleichem Muster leuchtender Punkte, verbunden durch eine gepunktete Messklammer.](https://cdn.btlabs.dev/media/radar-monatsvergleich-zwei-plattformen-1920x1086-2688x1520-801fa84e.webp)

Berger+Team · 18.11.2026

Thema: [Forschung →](https://btlabs.dev/de/ai-discovery-radar)

Bei vielen Websites schreibt Cloudflare einen Abschnitt in die [robots.txt](https://btlabs.dev/de/glossary/robots-txt) , der KI-Training ausschließen kann. Im November 2026 schloss er bei 5,9 % von 1.000 beliebten Websites, die wir jeden Monat prüfen, das Training aus. Unter den Websites, die über Cloudflare laufen, war es etwa jede siebte. Meist sperrt er nur [Crawler](https://btlabs.dev/de/glossary/crawler) , die Texte für das Training von KI-Modellen sammeln. Die Suche in ChatGPT oder Perplexity und Abrufe im Auftrag von Nutzern bleiben dann offen. Bei einem kleinen Teil sperrt er mehr.

## So prüfst du deine robots.txt

Drei Schritte reichen, auch ohne technisches Wissen:

1. Öffne im Browser die Adresse deiner Website mit /robots.txt am Ende, zum Beispiel \[dein-betrieb\].it/robots.txt.
2. Suche nach der Zeile „# BEGIN Cloudflare Managed content“. Steht sie dort, stammt der Abschnitt aus den Einstellungen bei Cloudflare. Steht darin „# Training crawlers“ oder „User-agent: GPTBot“ mit „Disallow: /“, schließt er KI-Training aus.
3. Schau, ob darunter auch „# AI Agents“ oder „# AI Search crawlers“ steht. Dann bittest du auch KI-Assistenten, die für einen Nutzer deine Seite abrufen, und die Suche der KI-Dienste, fernzubleiben.

Ob du das willst, ist deine Entscheidung. Einstellen lässt es sich bei Cloudflare.

## Was der Eintrag sperrt und was nicht

Der Abschnitt „# Training crawlers“ nennt Crawler wie GPTBot, ClaudeBot, CCBot, Google-Extended und Bytespider. Sie sammeln Inhalte für das Training von KI-Modellen. Der Googlebot bleibt unberührt und damit auch die Google-Suche samt [Übersicht mit KI](https://btlabs.dev/de/glossary/ki-uebersichten) . Google-Extended steuert das Training von Gemini und, ob Gemini-Dienste Inhalte als Grundlage für Antworten nutzen dürfen.

Im größeren Panel von 10.000 Domains stand im November 2026 bei 420 von 439 Einträgen in neuer Form nur dieser Abschnitt. 19 sperrten zusätzlich [KI-Agenten](https://btlabs.dev/de/glossary/ki-agent) , 6 davon auch die KI-Suche.

Eine robots.txt ist eine Bitte an Crawler, keine technische Sperre. Ob Cloudflare dieselben Crawler zusätzlich abweist, messen wir nicht.

## Die Zahlen: dieselben 1.000 Websites, drei Monate

Gezählt sind die Websites, deren robots.txt wir lesen konnten, rund 700 je Monat, und davon die, bei denen Cloudflares Abschnitt KI-Training ausschließt. In Klammern steht das 95-%-Intervall.

- **September 2026:** 48 von 704, 6,8 % (5,2–8,9 %)
- **Oktober 2026:** 3 von 700, 0,4 % (0,1–1,3 %)
- **November 2026:** 41 von 695, 5,9 % (4,4–7,9 %)

Der Anstieg von Oktober auf November ist echt, die Intervalle überlappen sich nicht. Über drei Monate ist es eine Rückkehr auf das Niveau vom September. Die Stichprobe mit 10.000 Domains zeigt dasselbe Bild: 0,3 % im Oktober (21 von 6.896, 0,2–0,5 %) und 6,4 % im November (442 von 6.951, 5,8–7,0 %).

Alle 41 Einträge stammen von Websites, die ihre robots.txt über Cloudflare ausliefern. Von diesen 293 Websites schloss im November bei 41 der Abschnitt das Training aus, 14,0 % (10,5–18,4 %), also etwa jede siebte. Im Oktober waren es 3 von 289, 1,0 % (0,4–3,0 %). Bei weiteren 9 Websites stand von Cloudflare nur ein rechtlicher Vorspann ohne Regel; der Vorspann selbst schließt nichts aus.

Im großen Panel mit 10.000 Domains ist der Anteil ähnlich: Von 2.901 Websites, die ihre robots.txt über Cloudflare ausliefern, schloss im November bei 442 der Abschnitt das Training aus, 15,2 % (14,0–16,6 %), also etwa jede siebte. Ohne Cloudflares Abschnitt schließen dort weitere 826 Websites Trainings-Crawler mit eigenen Zeilen aus, ein Teil davon, indem sie alle Crawler aussperren. Das sind mehr als über den Abschnitt.

## Woher die Bewegung kommt

Cloudflare hatte angekündigt, die alte Form des Eintrags zum 15\. September 2026 abzulösen. Dazu passt der Rückgang im Oktober. Die neue Form mit der Zeile „# Training crawlers“ breitet sich seit etwa Ende Oktober aus: Im November hatten alle 41 Einträge mit Trainings-Ausschluss diese Form. Sie passt zu einer Funktion, die Cloudflare am 21\. August 2026 vorgestellt hat und die Einträge getrennt nach Suche, Agenten und Training schreibt. Dass die neue Form von dort stammt, ist wahrscheinlich, aber nicht belegt.

Ob ein Betreiber den Eintrag selbst gewählt hat oder ob er als Standard kam, messen wir nicht. Die Zahlen zeigen, wie verbreitet er ist, nicht, wie viele Betriebe sich gegen KI-Training entschieden haben.

## Was sonst gleich blieb

Außer dem Cloudflare-Eintrag hat sich im November keine Datei messbar verändert. [llms.txt](https://btlabs.dev/de/glossary/llms-txt) liegt bei 16,6 % (110 von 661, 14,0–19,7 %), nach 13,5 % im September (90 von 669, 11,1–16,2 %). Die Richtung zeigt nach oben, der Abstand liegt aber noch im Rauschen. robots.txt, [sitemap.xml](https://btlabs.dev/de/glossary/sitemap) und security.txt blieben flach, Dateien eigens für KI-Agenten sind weiter Einzelfälle.

## So haben wir gemessen

Gemessen haben wir dieselben 1.000 Domains aus Ranglisten beliebter Websites, vom 1\. bis 3\. September, 1\. bis 5\. Oktober und 1\. bis 5\. November 2026\. Die Vergleichszahlen stammen aus dem Panel, das seit Oktober auf 10.000 Domains erweitert ist. Die Monatsanteile je Datei stehen im [Datensatz v2026.11](https://doi.org/10.5281/zenodo.23998918) (DOI 10.5281/zenodo.23998918). Die Cloudflare-Zahlen haben wir aus den Rohdaten der Messung ausgezählt. Die Domains sind keine Zufallsstichprobe des Webs. Ob sich ein Crawler an die robots.txt hält, misst das Radar nicht. Was der September für sich zeigte, steht in [Was der September zeigt](https://btlabs.dev/de/posts/radar-september-2026-befunde).

Alle Monatszahlen mit Intervall und Datensatz findest du auf der [Radar-Seite](https://btlabs.dev/de/ai-discovery-radar).

## Häufig gestellte Fragen.

**Was misst das ai-discovery-radar?**

Das ai-discovery-radar misst, wie viele Websites einer eingefrorenen Stichprobe von 30.000 Domains (jeden Monat ein Drittel davon plus ein festes Panel) 37 katalogisierte [maschinenlesbare](https://btlabs.dev/de/glossary/maschinenlesbare-website) Discovery- und Consent-Dateien tatsächlich ausliefern — etwa robots.txt, llms.txt, [TDMRep](https://btlabs.dev/de/glossary/tdm-opt-out-tdmrep) oder Agent-Cards. Gezählt wird Verfügbarkeit, nicht Nutzung.

**Brauche ich zwingend eine llms.txt?**

Sie ist kein Google-Ranking-Signal (das sagt Google selbst) — aber in Minuten erstellt und für KI-Agenten als Orientierung nützlich. Ein günstiger Zusatz, kein Wundermittel.

[Wie verbreitet sie wirklich ist](https://btlabs.dev/de/posts/radar-november-2026-cloudflare), messen wir selbst: Stand November 2026 liefern 14,8 % der geprüften Domains im Panel von 10.000 eine llms.txt aus. Die Messung ist offengelegt im [ai-discovery-radar](https://btlabs.dev/de/ai-discovery-radar).

**Bedeutet 0 % im Panel, dass niemand das Format nutzt?**

Nein. Bei seltenen Routen ist eine Null auf 1.000 Domains ein Stichprobenboden: Im zehnmal größeren Block desselben Monats bleiben nur 4 statt 16 Wege bei null. Ab dem Oktober-Lauf 2026 wächst das Panel deshalb auf 10.000 Domains.

Nächster Schritt

## Sollen wir uns das gemeinsam anschauen?

Kein Pitch, kein Standardpaket — eine ehrliche Einschätzung zu deinem Projekt. Antwort in der Regel binnen 24 h.

[Gespräch starten →](https://btlabs.dev/de/kontakt#cta)

## Das könnte dich auch interessieren

- [· Was heute schon eingebaut ist, während andere noch diskutieren · Das Wissen über KI-Sichtbarkeit ist frei verfügbar. Ausgeliefert wird es fast nirgends: Von 8.603 gemessenen Domains liefern 14,8 % eine llms.txt aus und 0,1 % einen maschinenlesbaren Katalog. Über den Abstand zwischen Reden und Bauen.](https://btlabs.dev/de/posts/was-heute-schon-eingebaut-ist)
- [· Warum 16 Nullen die ehrlichste Zahl im Radar sind · Stand September 2026: 34 maschinenlesbare Wege, 30.000 Domains, ein offener Regelsatz. Der Technical Report erklärt, wie das ai-discovery-radar misst — und warum eine Null nicht dasselbe ist wie Absenz.](https://btlabs.dev/de/posts/methodenbericht-ai-discovery-radar)
- [· Was der September zeigt: drei Befunde aus dem Radar · Gut 13 % llms.txt, Nutzungsvorbehalte und Dateien für KI-Agenten unter einem Prozent: drei Beobachtungen aus dem September-Lauf des ai-discovery-radar, mit Nenner, Stichtag und Rechenweg.](https://btlabs.dev/de/posts/radar-september-2026-befunde)

---
Source: https://btlabs.dev/de/posts/radar-november-2026-cloudflare
Languages: [it](https://btlabs.dev/llms/it/posts/radar-novembre-2026-cloudflare) · [en](https://btlabs.dev/llms/en/posts/cloudflare-ai-training-radar-november-2026)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)
