robots.txt
Il robots.txt è un file di testo nella radice di un sito. Indica ai client automatici quali aree possono visitare e quali no. È il più antico di questi percorsi e, di gran lunga, il più diffuso.
Il robots.txt si trova direttamente sotto il dominio ed è la prima cosa che un client automatico richiede. Riga per riga stabilisce quale client può percorrere quali sezioni. Lo standard risale agli anni Novanta ed è tuttora l’unico file del genere presente quasi ovunque.
Conta soprattutto ciò che non è: non è un blocco d’accesso. Una riga è una richiesta, non una serratura — chi non la rispetta non viene fermato. I dati riservati vanno dietro un’autenticazione, non dentro una riga di divieto. All’opposto, una regola troppo severa può impedire che i contenuti vengano trovati.
Da quando i sistemi di IA leggono il web, il file ha assunto un secondo compito: molti fornitori vi dichiarano un proprio identificativo, così il loro accesso può essere regolato separatamente. Chi vuole decidere se e come i propri contenuti compaiano nelle risposte dell’IA comincia da qui.
Termini correlati
Domande frequenti.
Posso impedire che l'IA venga addestrata con i miei contenuti — senza diventare invisibile?
Sì — con un opt-out TDM (TDMRep): una riserva d'uso leggibile dalle macchine che vieta il text and data mining dei tuoi contenuti per l'addestramento IA. La base giuridica è il quadro normativo UE, che obbliga i fornitori di grandi modelli IA a rispettare tali riserve. La lettura e la citazione da parte dei sistemi di risposta IA restano permesse — quindi rimani visibile e citabile, mentre i tuoi testi non confluiscono stabilmente nei modelli. Definisci la regola una sola volta in forma leggibile dalle macchine, invece di affidarla solo a un testo legale.
Ho assolutamente bisogno di un file llms.txt?
Non è un segnale di ranking per Google (lo dice Google stesso) — ma si crea in pochi minuti ed è utile come orientamento per gli agenti IA. Un'aggiunta economica, non un rimedio miracoloso.
Quanto sia davvero diffuso lo misuriamo noi stessi: a agosto 2026 lo espone il 10,2% dei domini verificati. La misurazione è pubblica nel radar ai-discovery.