Crawler
Un crawler è un programma che richiede automaticamente le pagine di un sito e ne segue i collegamenti — per motori di ricerca, archivi o sistemi di IA. Ciò che non riesce a scaricare, per il servizio che lo usa non esiste.
Un crawler richiede una pagina, ne legge i collegamenti e in questo modo attraversa un sito. I motori di ricerca ne ricavano il proprio indice, gli archivi la propria raccolta, i fornitori di IA la base di conoscenza o il materiale per una risposta in tempo reale. Ogni crawler si presenta con un identificativo che permette di riconoscerlo e di trattarlo separatamente.
Per chi gestisce un sito non è un dettaglio. Ciò che un crawler non riesce a ottenere — perché sta dietro un’autenticazione, nasce solo tramite script o viene servito troppo lentamente — per il servizio a valle non esiste. La reperibilità non comincia dunque dal testo, ma dalla domanda se il testo arrivi.
Vanno distinte due occasioni: la raccolta programmata in anticipo e il recupero nel momento di una domanda precisa. Il secondo caso è il più recente — un assistente preleva una pagina esattamente quando qualcuno vuole sapere qualcosa. In quel momento contano la velocità e la chiarezza della risposta.
Termini correlati
Domande frequenti.
Vale la pena essere AI-ready per una piccola azienda — cosa cambia concretamente?
Proprio per le piccole aziende vale la pena, perché è qui che la leva è più grande: se i grandi sistemi IA possono leggere il tuo sito senza errori e raccomandarlo come fonte affidabile, vieni trovato e nominato anche accanto a fornitori più grandi. Essere AI-ready significa concretamente: contenuti chiaramente strutturati e completi in più lingue, dati strutturati (JSON-LD) e HTML veloce e leggibile dalle macchine — così ChatGPT, Gemini e Perplexity ti inquadrano correttamente. Non si tratta affatto di mettere un chatbot sulla tua pagina, ma di far sì che l'IA là fuori ti capisca bene e ti raccomandi.
Come capisco se un'agenzia capisce davvero come un'IA legge il mio sito web?
Un test semplice: chiedi degli ultimi tre progetti e di come è stata gestita la visibilità per l'IA. Se la risposta si ferma a meta tag, velocità di caricamento e ranking classici, copre solo metà del lavoro — importante, ma non decisivo per i sistemi di risposta IA.
Chi capisce davvero come un'IA legge un sito parla di cose più concrete: un profilo leggibile dalle macchine come `llms.txt`, dati strutturati in formato JSON-LD per fatti come orari di apertura o servizi, e se i crawler e gli agenti IA hanno effettivamente accesso tecnico al sito. Sono queste le leve che decidono se un'IA può citare o consigliare correttamente la tua attività.