# Crawler

> Was ein Crawler tut, warum Auffindbarkeit nicht beim Text beginnt, sondern bei der Frage, ob er ankommt — und was der Abruf im Moment einer Frage ändert.

Synonyms: Webcrawler, Suchmaschinen-Bot, Spider, Crawling

Ein Crawler ruft eine Seite ab, liest die enthaltenen Verweise und arbeitet sich so durch eine Website. Suchmaschinen bauen daraus ihren Index, Archive ihre Sammlung, KI-Anbieter ihre Wissensbasis oder die Grundlage für eine Live-Antwort. Jeder Crawler meldet sich mit einer Kennung, an der man ihn erkennen und getrennt behandeln kann.

Für den Betreiber einer Website ist das keine Nebensache. Was ein Crawler nicht abrufen kann — weil es hinter einer Anmeldung liegt, erst durch Skripte entsteht oder schlicht zu langsam ausgeliefert wird — existiert für den Dienst dahinter nicht. Auffindbarkeit beginnt damit nicht beim Text, sondern bei der Frage, ob der Text überhaupt ankommt.

Zu unterscheiden sind zwei Anlässe: das planmäßige Sammeln im Voraus und der Abruf im Moment einer konkreten Frage. Der zweite Fall ist der neuere — ein Assistent holt sich eine Seite genau dann, wenn jemand etwas wissen will. Für diesen Moment zählt, wie schnell und wie verständlich die Seite antwortet.

---
Source: https://btlabs.dev/de/glossary/crawler
Last-Modified: 2026-08-16T04:56:24.971Z
Languages: [it](https://btlabs.dev/llms/it/glossary/crawler) · [en](https://btlabs.dev/llms/en/glossary/crawler)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)