# Crawler

> Che cosa fa un crawler, perché la reperibilità non comincia dal testo ma dal fatto che arrivi — e che cosa cambia il recupero nel momento della domanda.

Synonyms: web crawler, bot dei motori di ricerca, spider, crawling

Un crawler richiede una pagina, ne legge i collegamenti e in questo modo attraversa un sito. I motori di ricerca ne ricavano il proprio indice, gli archivi la propria raccolta, i fornitori di IA la base di conoscenza o il materiale per una risposta in tempo reale. Ogni crawler si presenta con un identificativo che permette di riconoscerlo e di trattarlo separatamente.

Per chi gestisce un sito non è un dettaglio. Ciò che un crawler non riesce a ottenere — perché sta dietro un’autenticazione, nasce solo tramite script o viene servito troppo lentamente — per il servizio a valle non esiste. La reperibilità non comincia dunque dal testo, ma dalla domanda se il testo arrivi.

Vanno distinte due occasioni: la raccolta programmata in anticipo e il recupero nel momento di una domanda precisa. Il secondo caso è il più recente — un assistente preleva una pagina esattamente quando qualcuno vuole sapere qualcosa. In quel momento contano la velocità e la chiarezza della risposta.

---
Source: https://btlabs.dev/it/glossary/crawler
Last-Modified: 2026-08-16T04:56:24.971Z
Languages: [de](https://btlabs.dev/llms/de/glossary/crawler) · [en](https://btlabs.dev/llms/en/glossary/crawler)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)