Il radar ai-discovery

Cosa viene misurato

Il radar verifica quali file leggibili dalle macchine un sito mette a disposizione delle macchine: il robots.txt, che da trent'anni stabilisce quali aree possono visitare i client automatici. Il llms.txt, un indice dei contenuti pensato per i modelli linguistici. Il ai-catalog.json, che descrive quali contenuti e servizi un dominio offre agli agenti IA. In tutto la misurazione in corso comprende 37 percorsi.

A questi si aggiunge ciò che deliberatamente non misuriamo. Altri 23 percorsi restano sotto osservazione: li conosciamo, ma non sono ancora abbastanza diffusi da giustificare una richiesta su ogni host del campione. E 49 li abbiamo esaminati e scartati, con una motivazione voce per voce. Un catalogo non migliora accogliendo ogni formato di cui qualcuno parla.

Vengono richiesti soltanto file di configurazione pubblici destinati alle macchine — nessun contenuto delle pagine, nessuna immagine, nessun testo. La misurazione rispetta il robots.txt di ciascun dominio e si presenta con il proprio nome.

Che cosa mostra il panel

Dati di novembre 2026, su un campione stratificato di 8.603 domini raggiungibili:

• 84,9% espongono un robots.txt. Il più vecchio degli standard è l'unico che quasi tutti rispettano.
• 14,8% espongono un llms.txt. Il formato è giovane, e la diffusione lo rispecchia.
• 0,1% espongono un ai-catalog.json. Dei 37 percorsi verificati, 5 non hanno restituito una sola risposta sull'intero panel.

Questi zeri non sono un errore di misura: sono il risultato. Di molti di questi formati si parla come se fossero ormai affermati. Nel web aperto non lo sono.

Da ottobre 2026 misuriamo ogni mese un panel di 10.000 fonti; i numeri qui sopra sono la misurazione più recente. Il panel precedente di 1.000 fonti prosegue fino a dicembre come serie a sé. I confronti si fanno solo all'interno di una serie. A novembre 2026 il panel è stabile ovunque rispetto a ottobre; una freccia compare solo se gli intervalli al 95% dei due mesi non si sovrappongono. La serie esplorativa di agosto 2026 su 16.554 domini resta documentata come base di riferimento nel repository GitHub.

La misurazione in cifre

• Panel: 10.000 fonti, ogni mese le stesse; a novembre 2026 8.603 raggiungibili.
• Quadro: 30.000 fonti; ogni mese se ne aggiunge un terzo, insieme al panel circa 16.800 fonti al mese.
• Percorsi di misura: 37, secondo il regolamento 0.4.0.
• Serie da 1.000: le stesse 1.000 fonti da agosto 2026, come serie a sé fino a dicembre 2026.
• Primo quadro completo (da settembre a novembre 2026): 25.851 organizzazioni raggiungibili, come file a sé nel dataset.

Perché lo rendiamo pubblico

Costruiamo siti che devono essere trovati dalle persone e dai sistemi di IA. Questo lavoro ha bisogno di numeri, non di supposizioni: quale percorso regge davvero oggi, e quale è una scommessa sul domani? Chi non misura vende congetture.

Per questo il metodo è pubblico — campione, insieme di regole, intervalli di confidenza, e i percorsi risultati a zero restano in tabella. Chi mette in dubbio uno di questi numeri può rifarne il conto. È esattamente questo il punto.

Il metodo completo — modello di classificazione, regola del denominatore, disegno campionario, procedura di verifica e le trappole di misura che sono costate dati anche a noi — è nel Technical Report v1.0 (Zenodo, DOI 10.5281/zenodo.22769680, CC BY 4.0, in inglese). Chi cita una quota dovrebbe averlo letto prima.

Responsabile di misurazione, analisi e report: Florian Berger, Berger+Team, Bolzano · ORCID 0009-0008-5780-1147

Chi non vuole essere misurato

Nessuna domanda, nessuna motivazione. Basta una e-mail con il dominio, oppure una riga nel proprio robots.txt. I domini esclusi vengono saltati prima che parta una qualsiasi richiesta.

Guarda il radar su GitHub