
Cloudflare e addestramento dell'IA: cosa mostra il radar a novembre
Berger+Team · 18 nov 2026
Tema: Ricerca
Su molti siti Cloudflare scrive nel robots.txt una sezione che può escludere l'addestramento dell'IA. A novembre 2026 lo escludeva sul 5,9% dei 1.000 siti popolari che controlliamo ogni mese. Tra i siti che passano da Cloudflare, era circa uno su sette. Di solito blocca solo i crawler che raccolgono testi per addestrare i modelli di IA. La ricerca in ChatGPT o Perplexity e le richieste fatte per conto degli utenti restano aperte. In una piccola parte dei casi blocca di più.
Come controllare il tuo robots.txt
Bastano tre passi, anche senza conoscenze tecniche:
- Apri nel browser l'indirizzo del tuo sito con /robots.txt alla fine, per esempio [la-tua-azienda].it/robots.txt.
- Cerca la riga «# BEGIN Cloudflare Managed content». Se c'è, la sezione viene dalle impostazioni di Cloudflare. Se contiene «# Training crawlers» oppure «User-agent: GPTBot» con «Disallow: /», esclude l'addestramento dell'IA.
- Controlla se sotto compaiono anche «# AI Agents» o «# AI Search crawlers». In quel caso chiedi di restare fuori anche agli assistenti di IA che aprono la tua pagina per un utente e alla ricerca dei servizi di IA.
Se lo vuoi, lo decidi tu. Si imposta in Cloudflare.
Cosa blocca la voce e cosa no
La sezione «# Training crawlers» elenca crawler come GPTBot, ClaudeBot, CCBot, Google-Extended e Bytespider. Raccolgono contenuti per l'addestramento dei modelli di IA. Googlebot non viene toccato, e con lui la ricerca Google con la panoramica creata con l'IA. Google-Extended regola l'addestramento di Gemini e se i servizi Gemini possono usare i contenuti come base per le risposte.
Nel panel più grande di 10.000 domini, a novembre 2026, 420 voci su 439 nella nuova forma contenevano solo questa sezione. 19 bloccavano anche gli agenti di IA, 6 di queste anche la ricerca con IA.
Un robots.txt è una richiesta ai crawler, non un blocco tecnico. Se Cloudflare respinga in più gli stessi crawler, non lo misuriamo.
I numeri: gli stessi 1.000 siti, tre mesi
Contiamo i siti di cui abbiamo potuto leggere il robots.txt, circa 700 al mese, e tra questi quelli in cui la sezione di Cloudflare esclude l'addestramento dell'IA. Tra parentesi l'intervallo al 95%.
- Settembre 2026: 48 su 704, 6,8% (5,2–8,9%)
- Ottobre 2026: 3 su 700, 0,4% (0,1–1,3%)
- Novembre 2026: 41 su 695, 5,9% (4,4–7,9%)
L'aumento da ottobre a novembre è reale: gli intervalli non si sovrappongono. Su tre mesi è un ritorno al livello di settembre. Il campione di 10.000 domini mostra lo stesso quadro: 0,3% a ottobre (21 su 6.896, 0,2–0,5%) e 6,4% a novembre (442 su 6.951, 5,8–7,0%).
Tutte le 41 voci vengono da siti che servono il robots.txt tramite Cloudflare. Di questi 293 siti, a novembre in 41 la sezione escludeva l'addestramento, il 14,0% (10,5–18,4%), cioè circa uno su sette. A ottobre erano 3 su 289, l'1,0% (0,4–3,0%). In altri 9 siti c'era di Cloudflare solo una premessa legale senza regole; la premessa in sé non esclude nulla.
Nel panel più grande di 10.000 domini la quota è simile: dei 2.901 siti che servono il robots.txt tramite Cloudflare, a novembre in 442 la sezione escludeva l'addestramento, il 15,2% (14,0–16,6%), cioè circa uno su sette. Senza la sezione di Cloudflare, lì altri 826 siti escludono i crawler di addestramento con righe proprie, in parte bloccando tutti i crawler. Sono più che tramite la sezione.
Da dove viene il movimento
Cloudflare aveva annunciato di sostituire la vecchia forma della voce dal 15 settembre 2026. Il calo di ottobre è coerente con questo. La nuova forma, con la riga «# Training crawlers», si diffonde da circa fine ottobre: a novembre l'avevano tutte le 41 voci con esclusione dell'addestramento. Corrisponde a una funzione presentata da Cloudflare il 21 agosto 2026, che scrive le voci separate per ricerca, agenti e addestramento. Che la nuova forma venga da lì è probabile, ma non dimostrato.
Se un gestore abbia scelto la voce da sé o se sia arrivata come impostazione predefinita, non lo misuriamo. I numeri mostrano quanto è diffusa, non quante aziende abbiano deciso di opporsi all'addestramento dell'IA.
Cosa è rimasto uguale
A parte la voce di Cloudflare, a novembre nessun file è cambiato in modo misurabile. llms.txt è al 16,6% (110 su 661, 14,0–19,7%), dopo il 13,5% di settembre (90 su 669, 11,1–16,2%). La direzione è in salita, ma la distanza resta nel rumore statistico. robots.txt, sitemap.xml e security.txt sono rimasti piatti; i file pensati apposta per gli agenti di IA restano casi isolati.
Come abbiamo misurato
Abbiamo misurato gli stessi 1.000 domini, tratti da classifiche di siti popolari, dal 1° al 3 settembre, dal 1° al 5 ottobre e dal 1° al 5 novembre 2026. I numeri di confronto vengono dal panel, ampliato a 10.000 domini da ottobre. Le quote mensili per file sono nel dataset v2026.11 (DOI 10.5281/zenodo.23998918). I numeri su Cloudflare li abbiamo contati dai dati grezzi della misurazione. I domini non sono un campione casuale del web. Se un crawler rispetti il robots.txt, il radar non lo misura. Cosa ha mostrato settembre da solo è in Cosa mostra settembre.
Tutti i dati mensili, con intervallo e dataset, sono sulla pagina del radar.
Domande frequenti.
Che cosa misura l'ai-discovery-radar?
L'ai-discovery-radar misura quanti siti di un campione congelato di 30.000 domini (ogni mese un terzo del campione più un panel fisso) forniscono davvero 37 file di discovery e consenso catalogati e leggibili dalle macchine — per esempio robots.txt, llms.txt, TDMRep o agent card. Si conta la disponibilità, non l'uso.
Ho assolutamente bisogno di un file llms.txt?
Non è un segnale di ranking per Google (lo dice Google stesso) — ma si crea in pochi minuti ed è utile come orientamento per gli agenti IA. Un'aggiunta economica, non un rimedio miracoloso.
Quanto sia davvero diffuso lo misuriamo noi stessi: a novembre 2026 lo espone il 14,8% dei domini verificati nel panel di 10.000. La misurazione è pubblica nell'ai-discovery-radar.
Uno 0 % nel panel significa che nessuno usa quel formato?
No. Per le rotte rare uno zero su 1.000 domini è un limite del campione: nel blocco dieci volte più grande dello stesso mese restano a zero solo 4 rotte invece di 16. Dalla rilevazione di ottobre 2026 il panel cresce perciò a 10.000 domini.


