# robots.txt

> Come il robots.txt pone limiti ai client automatici, perché non è un blocco d’accesso e quale ruolo assume da quando i sistemi di IA leggono il web.

Synonyms: file robots.txt, Robots Exclusion Standard, controllo dei crawler

Il robots.txt si trova direttamente sotto il dominio ed è la prima cosa che un client automatico richiede. Riga per riga stabilisce quale client può percorrere quali sezioni. Lo standard risale agli anni Novanta ed è tuttora l’unico file del genere presente quasi ovunque.

Conta soprattutto ciò che non è: non è un blocco d’accesso. Una riga è una richiesta, non una serratura — chi non la rispetta non viene fermato. I dati riservati vanno dietro un’autenticazione, non dentro una riga di divieto. All’opposto, una regola troppo severa può impedire che i contenuti vengano trovati.

Da quando i sistemi di IA leggono il web, il file ha assunto un secondo compito: molti fornitori vi dichiarano un proprio identificativo, così il loro accesso può essere regolato separatamente. Chi vuole decidere se e come i propri contenuti compaiano nelle risposte dell’IA comincia da qui.

---
Source: https://btlabs.dev/it/glossary/robots-txt
Last-Modified: 2026-08-16T04:56:20.712Z
Languages: [de](https://btlabs.dev/llms/de/glossary/robots-txt) · [en](https://btlabs.dev/llms/en/glossary/robots-txt)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)