# robots.txt

> Come il robots.txt pone limiti ai client automatici, perché non è un blocco d’accesso e quale ruolo assume da quando i sistemi di IA leggono il web.

Synonyms: file robots.txt, Robots Exclusion Standard, controllo dei crawler

Il robots.txt è un file di testo nella radice di un sito. Indica ai client automatici quali aree possono visitare e quali no. È il più antico di questi percorsi e, di gran lunga, il più diffuso.

Il robots.txt si trova direttamente sotto il dominio ed è la prima cosa che un client automatico richiede. Riga per riga stabilisce quale client può percorrere quali sezioni. Lo standard risale agli anni Novanta ed è tuttora l’unico file del genere presente quasi ovunque.

Conta soprattutto ciò che non è: non è un blocco d’accesso. Una riga è una richiesta, non una serratura — chi non la rispetta non viene fermato. I dati riservati vanno dietro un’autenticazione, non dentro una riga di divieto. All’opposto, una regola troppo severa può impedire che i contenuti vengano trovati.

Da quando i sistemi di IA leggono il web, il file ha assunto un secondo compito: molti fornitori vi dichiarano un proprio identificativo, così il loro accesso può essere regolato separatamente. Chi vuole regolare quali client IA possono leggere i propri contenuti comincia da qui — vale però solo per i fornitori che la rispettano.

- [Leggibilità per le macchine](https://btlabs.dev/it/glossary?tag=maschinenlesbarkeit)
- [AI-Readiness](https://btlabs.dev/it/glossary?tag=ki-readiness)
- [Dati strutturati](https://btlabs.dev/it/glossary?tag=strukturierte-daten)

## Termini correlati

- [LLMs.txt](https://btlabs.dev/it/glossary/llms-txt)
- [TDM opt-out (TDMRep)](https://btlabs.dev/it/glossary/tdm-opt-out-tdmrep)
- [Agente IA](https://btlabs.dev/it/glossary/agente-ia)
- [Crawler](https://btlabs.dev/it/glossary/crawler)

## Domande frequenti.

**Posso impedire che l'IA venga addestrata con i miei contenuti — senza diventare invisibile?**

Sì — con un opt-out TDM ([TDMRep](https://btlabs.dev/it/glossary/tdm-opt-out-tdmrep) ): una riserva d'uso [leggibile dalle macchine](https://btlabs.dev/it/glossary/sito-leggibile-dalle-macchine) che vieta il text and data mining dei tuoi contenuti per l'addestramento IA. La base giuridica è il quadro normativo UE, che obbliga i fornitori di grandi modelli IA a rispettare tali riserve. La lettura e la citazione da parte dei sistemi di risposta IA restano permesse — quindi rimani visibile e citabile. Definisci la regola una sola volta in forma leggibile dalle macchine, invece di affidarla solo a un testo legale. Va detto con onestà: è una dichiarazione, non un blocco tecnico — chi non la rispetta non viene fermato. La riserva è però il presupposto perché tu possa farla valere.

**Ho assolutamente bisogno di un file llms.txt?**

Non è un segnale di ranking per Google (lo dice Google stesso) — ma si crea in pochi minuti ed è utile come orientamento per gli [agenti IA](https://btlabs.dev/it/glossary/agente-ia) . Un'aggiunta economica, non un rimedio miracoloso.

Quanto sia davvero diffuso lo misuriamo noi stessi: a novembre 2026 lo espone il 14,8% dei domini verificati. La misurazione è pubblica nell'[ai-discovery-radar](https://btlabs.dev/it/ai-discovery-radar).

---
Source: https://btlabs.dev/it/glossary/robots-txt
Languages: [de](https://btlabs.dev/llms/de/glossary/robots-txt) · [en](https://btlabs.dev/llms/en/glossary/robots-txt)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)