# Crawler

> Was ein Crawler tut, warum Auffindbarkeit nicht beim Text beginnt, sondern bei der Frage, ob er ankommt — und was der Abruf im Moment einer Frage ändert.

Synonyms: Webcrawler, Suchmaschinen-Bot, Spider, Crawling

Ein Crawler ruft eine Seite ab, liest die enthaltenen Verweise und arbeitet sich so durch eine Website. Suchmaschinen bauen daraus ihren Index, Archive ihre Sammlung, KI-Anbieter ihre Wissensbasis oder die Grundlage für eine Live-Antwort. Seriöse Crawler melden sich mit einer Kennung, an der man sie erkennen und getrennt behandeln kann — nicht jeder tut das ehrlich.

Für den Betreiber einer Website ist das keine Nebensache. Was ein Crawler nicht abrufen kann — weil es hinter einer Anmeldung liegt, erst durch Skripte entsteht oder schlicht zu langsam ausgeliefert wird — existiert für den Dienst dahinter nicht. Auffindbarkeit beginnt damit nicht beim Text, sondern bei der Frage, ob der Text überhaupt ankommt.

Zu unterscheiden sind zwei Anlässe: das planmäßige Sammeln im Voraus und der Abruf im Moment einer konkreten Frage. Der zweite Fall ist der neuere — ein Assistent holt sich eine Seite genau dann, wenn jemand etwas wissen will. Für diesen Moment zählt, wie schnell und wie verständlich die Seite antwortet.

---
Source: https://btlabs.dev/de/glossary/crawler
Last-Modified: 2026-09-25T11:14:41.842Z
Languages: [it](https://btlabs.dev/llms/it/glossary/crawler) · [en](https://btlabs.dev/llms/en/glossary/crawler)
See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)