Disegno a tratto color menta su nero: due piattaforme a gradini uguali con quasi lo stesso schema di punti luminosi, collegate da una staffa di misura punteggiata.

Cloudflare e addestramento dell'IA: cosa mostra il radar a novembre

Berger+Team · 18 nov 2026

Tema: Ricerca

Su molti siti Cloudflare scrive nel robots.txt una sezione che può escludere l'addestramento dell'IA. A novembre 2026 lo escludeva sul 5,9% dei 1.000 siti popolari che controlliamo ogni mese. Tra i siti che passano da Cloudflare, era circa uno su sette. Di solito blocca solo i crawler che raccolgono testi per addestrare i modelli di IA. La ricerca in ChatGPT o Perplexity e le richieste fatte per conto degli utenti restano aperte. In una piccola parte dei casi blocca di più.

Come controllare il tuo robots.txt

Bastano tre passi, anche senza conoscenze tecniche:

  1. Apri nel browser l'indirizzo del tuo sito con /robots.txt alla fine, per esempio [la-tua-azienda].it/robots.txt.
  2. Cerca la riga «# BEGIN Cloudflare Managed content». Se c'è, la sezione viene dalle impostazioni di Cloudflare. Se contiene «# Training crawlers» oppure «User-agent: GPTBot» con «Disallow: /», esclude l'addestramento dell'IA.
  3. Controlla se sotto compaiono anche «# AI Agents» o «# AI Search crawlers». In quel caso chiedi di restare fuori anche agli assistenti di IA che aprono la tua pagina per un utente e alla ricerca dei servizi di IA.

Se lo vuoi, lo decidi tu. Si imposta in Cloudflare.

Cosa blocca la voce e cosa no

La sezione «# Training crawlers» elenca crawler come GPTBot, ClaudeBot, CCBot, Google-Extended e Bytespider. Raccolgono contenuti per l'addestramento dei modelli di IA. Googlebot non viene toccato, e con lui la ricerca Google con la panoramica creata con l'IA. Google-Extended regola l'addestramento di Gemini e se i servizi Gemini possono usare i contenuti come base per le risposte.

Nel panel più grande di 10.000 domini, a novembre 2026, 420 voci su 439 nella nuova forma contenevano solo questa sezione. 19 bloccavano anche gli agenti di IA, 6 di queste anche la ricerca con IA.

Un robots.txt è una richiesta ai crawler, non un blocco tecnico. Se Cloudflare respinga in più gli stessi crawler, non lo misuriamo.

I numeri: gli stessi 1.000 siti, tre mesi

Contiamo i siti di cui abbiamo potuto leggere il robots.txt, circa 700 al mese, e tra questi quelli in cui la sezione di Cloudflare esclude l'addestramento dell'IA. Tra parentesi l'intervallo al 95%.

  • Settembre 2026: 48 su 704, 6,8% (5,2–8,9%)
  • Ottobre 2026: 3 su 700, 0,4% (0,1–1,3%)
  • Novembre 2026: 41 su 695, 5,9% (4,4–7,9%)

L'aumento da ottobre a novembre è reale: gli intervalli non si sovrappongono. Su tre mesi è un ritorno al livello di settembre. Il campione di 10.000 domini mostra lo stesso quadro: 0,3% a ottobre (21 su 6.896, 0,2–0,5%) e 6,4% a novembre (442 su 6.951, 5,8–7,0%).

Tutte le 41 voci vengono da siti che servono il robots.txt tramite Cloudflare. Di questi 293 siti, a novembre in 41 la sezione escludeva l'addestramento, il 14,0% (10,5–18,4%), cioè circa uno su sette. A ottobre erano 3 su 289, l'1,0% (0,4–3,0%). In altri 9 siti c'era di Cloudflare solo una premessa legale senza regole; la premessa in sé non esclude nulla.

Nel panel più grande di 10.000 domini la quota è simile: dei 2.901 siti che servono il robots.txt tramite Cloudflare, a novembre in 442 la sezione escludeva l'addestramento, il 15,2% (14,0–16,6%), cioè circa uno su sette. Senza la sezione di Cloudflare, lì altri 826 siti escludono i crawler di addestramento con righe proprie, in parte bloccando tutti i crawler. Sono più che tramite la sezione.

Da dove viene il movimento

Cloudflare aveva annunciato di sostituire la vecchia forma della voce dal 15 settembre 2026. Il calo di ottobre è coerente con questo. La nuova forma, con la riga «# Training crawlers», si diffonde da circa fine ottobre: a novembre l'avevano tutte le 41 voci con esclusione dell'addestramento. Corrisponde a una funzione presentata da Cloudflare il 21 agosto 2026, che scrive le voci separate per ricerca, agenti e addestramento. Che la nuova forma venga da lì è probabile, ma non dimostrato.

Se un gestore abbia scelto la voce da sé o se sia arrivata come impostazione predefinita, non lo misuriamo. I numeri mostrano quanto è diffusa, non quante aziende abbiano deciso di opporsi all'addestramento dell'IA.

Cosa è rimasto uguale

A parte la voce di Cloudflare, a novembre nessun file è cambiato in modo misurabile. llms.txt è al 16,6% (110 su 661, 14,0–19,7%), dopo il 13,5% di settembre (90 su 669, 11,1–16,2%). La direzione è in salita, ma la distanza resta nel rumore statistico. robots.txt, sitemap.xml e security.txt sono rimasti piatti; i file pensati apposta per gli agenti di IA restano casi isolati.

Come abbiamo misurato

Abbiamo misurato gli stessi 1.000 domini, tratti da classifiche di siti popolari, dal 1° al 3 settembre, dal 1° al 5 ottobre e dal 1° al 5 novembre 2026. I numeri di confronto vengono dal panel, ampliato a 10.000 domini da ottobre. Le quote mensili per file sono nel dataset v2026.11 (DOI 10.5281/zenodo.23998918). I numeri su Cloudflare li abbiamo contati dai dati grezzi della misurazione. I domini non sono un campione casuale del web. Se un crawler rispetti il robots.txt, il radar non lo misura. Cosa ha mostrato settembre da solo è in Cosa mostra settembre.

Tutti i dati mensili, con intervallo e dataset, sono sulla pagina del radar.

Domande frequenti.

Che cosa misura l'ai-discovery-radar?

L'ai-discovery-radar misura quanti siti di un campione congelato di 30.000 domini (ogni mese un terzo del campione più un panel fisso) forniscono davvero 37 file di discovery e consenso catalogati e leggibili dalle macchine — per esempio robots.txt, llms.txt, TDMRep o agent card. Si conta la disponibilità, non l'uso.

Ho assolutamente bisogno di un file llms.txt?

Non è un segnale di ranking per Google (lo dice Google stesso) — ma si crea in pochi minuti ed è utile come orientamento per gli agenti IA. Un'aggiunta economica, non un rimedio miracoloso.

Quanto sia davvero diffuso lo misuriamo noi stessi: a novembre 2026 lo espone il 14,8% dei domini verificati nel panel di 10.000. La misurazione è pubblica nell'ai-discovery-radar.

Uno 0 % nel panel significa che nessuno usa quel formato?

No. Per le rotte rare uno zero su 1.000 domini è un limite del campione: nel blocco dieci volte più grande dello stesso mese restano a zero solo 4 rotte invece di 16. Dalla rilevazione di ottobre 2026 il panel cresce perciò a 10.000 domini.

Prossimo passo

Diamo un’occhiata insieme?

Niente pitch, niente pacchetti standard — una valutazione onesta del tuo progetto. Risposta di norma entro 24 h.

Iniziamo a parlarne →