Cosa trova un agente IA sul tuo sito: l'autotest in cinque passi

Chi chiede a un assistente IA di trovare un'azienda manda in giro un programma che legge in modo diverso da una persona: prima interroga alcuni indirizzi concordati, poi si fa strada tra le pagine. Quali sono e cosa dovrebbe esserci lo puoi verificare sul tuo sito in pochi minuti, con un semplice browser. Ecco il giro nell'ordine in cui controllo io.

Un agente IA è un programma che cerca, legge e agisce in autonomia per conto di una persona: risponde a una domanda, confronta offerte, invia una richiesta. Agli agenti IA non interessa l'aspetto di una pagina, ma ciò che una macchina riesce a ricavarne. Un sito leggibile dagli agenti IA si riconosce quindi non dal design, ma da questi cinque punti.

Passo 1: robots.txt — il regolamento di casa

Digita il tuo indirizzo e aggiungi /robots.txt, per esempio latuaazienda.it/robots.txt. Il file è descritto come standard di Internet (RFC 9309) e indica ai visitatori automatici quali aree possono consultare.

Cosa controllare:

• Esiste e non blocca tutto per errore (Disallow: / per tutti).
• Indica la sitemap, così i programmi trovano tutte le tue pagine.
• Se vuoi, separa addestramento e ricerca. I grandi fornitori usano visitatori diversi: per OpenAI GPTBot raccoglie per l'addestramento e OAI-SearchBot per la ricerca, per Anthropic si chiamano ClaudeBot e Claude-SearchBot (OpenAI, Anthropic). Chi esclude solo l'addestramento resta trovabile nella ricerca IA.

Importante: robots.txt è una richiesta, non un blocco. I fornitori seri la rispettano, ma tecnicamente il file non impedisce nulla. Approfondimento nel glossario alla voce robots.txt.

Passo 2: llms.txt — la sintesi per i modelli linguistici

Aggiungi /llms.txt. È un file di testo che descrive in Markdown essenziale chi sei e quali pagine contano. È una proposta di settore (llmstxt.org), non una norma approvata, e se un determinato sistema lo legga resta aperto. Cosa può fare e cosa no lo trovi nel glossario alla voce llms.txt.

Cosa controllare: esiste, non è vuoto e corrisponde alle tue pagine — nome, offerta, contatti, le sottopagine principali. Un llms.txt in cui è rimasto un modello non compilato non serve a nessuno.

Passo 3: I segnali sotto /.well-known/

Sotto il percorso /.well-known/ si trovano file che dicono ai programmi quali interfacce offre un sito. Tre interessano gli agenti:

• /.well-known/api-catalog — un elenco delle interfacce di un sito, standardizzato nella RFC 9727.
• /.well-known/mcp.json — descrive un accesso tramite il Model Context Protocol, con cui un assistente può consultare contenuti o, se autorizzato, modificarli. Una convenzione della community, non una norma.
• /.well-known/security.txt — chi contattare in caso di falla di sicurezza (RFC 9116).

Se qui non trovi nulla, è la normalità e non una mancanza. Ma non creare file vuoti: un segnale che non porta a nessuna interfaccia è peggio di nessun segnale.

Passo 4: La versione testuale di una pagina

Tra una macchina e il tuo testo vero e proprio ci sono spesso menu, banner e script. Una versione testuale pulita, di solito in Markdown, le dà solo il contenuto. Puoi verificarlo nel codice sorgente di una sottopagina (clic destro, «Visualizza sorgente pagina»): se trovi un riferimento con rel="alternate" e type="text/markdown", la pagina offre una versione testuale. Se manca, il programma legge l'HTML — funziona lo stesso, solo con più zavorra. Come un'IA scompone una pagina in pezzi l'ho descritto in Come un'IA legge il tuo sito.

Passo 5: I fatti in forma strutturata

Nome, indirizzo, orari, servizi: questi dati non dovrebbero stare solo nel testo, ma anche come dati strutturati secondo Schema.org. Se e quali ne pubblica la tua pagina te lo mostra lo Schema Markup Validator: inserisci l'indirizzo e leggi il risultato. Quali dati contano davvero lo spiega Quali informazioni deve poter leggere una macchina sulla tua azienda.

Quanto è ancora raro oggi

Con l'ai-discovery-radar misuro ogni mese quali di questi file vengono effettivamente pubblicati dai siti. Nella rilevazione di settembre 2026 (10.667 domini, di cui 9.206 raggiungibili) il quadro era questo:

• robots.txt: 84,7 % dei domini in cui è stato possibile controllare
• llms.txt: 13,2 %
• api-catalog secondo la RFC 9727: 0,29 %
• /.well-known/mcp.json: 5 domini su 7.181

Si conta solo ciò che viene davvero pubblicato come file valido; pagine di errore e segnaposto sono esclusi. Si misura la presenza, non l'uso: se un agente legge un file, questi numeri non lo dicono. I risultati della rilevazione di settembre sono in un articolo a parte, con denominatore e calcolo.

Cosa ne ricavo

I passi 1 e 5 sono le basi: decidono se una macchina ti legge correttamente. I passi 2 e 4 costano poco se il sito li genera dai contenuti esistenti invece di farli curare a mano. Il passo 3 conviene solo se dietro al segnale c'è un'interfaccia vera.

Nessuno di questi file fa sì che un'IA ti consigli. Fanno sì che ti possa leggere correttamente quando viene a guardare.

Su btlabs.dev puoi vedere tutti questi punti, per esempio robots.txt, llms.txt, l'api-catalog e mcp.json. btlabs Core li genera dagli stessi dati curati delle pagine, e ogni pagina indica nella sua risposta i più importanti.

Fonti

• RFC 9309 — Robots Exclusion Protocol
• RFC 9727 — api-catalog
• RFC 9116 — security.txt
• llmstxt.org — proposta per llms.txt
• OpenAI — crawler e loro compiti
• Anthropic — crawler e loro compiti
• Berger, F. (2026): AI Discovery Radar, rilevazione monat-2026-09-block-a, set di regole 0.3.2. Zenodo, doi.org/10.5281/zenodo.22178282, CC BY 4.0