Crawler
Ein Crawler ist ein Programm, das Websites automatisch abruft und Links folgt — für Suchmaschinen, Archive oder KI-Systeme. Was er nicht abrufen kann, existiert für den Dienst dahinter nicht.
Ein Crawler ruft eine Seite ab, liest die enthaltenen Verweise und arbeitet sich so durch eine Website. Suchmaschinen bauen daraus ihren Index, Archive ihre Sammlung, KI-Anbieter ihre Wissensbasis oder die Grundlage für eine Live-Antwort. Jeder Crawler meldet sich mit einer Kennung, an der man ihn erkennen und getrennt behandeln kann.
Für den Betreiber einer Website ist das keine Nebensache. Was ein Crawler nicht abrufen kann — weil es hinter einer Anmeldung liegt, erst durch Skripte entsteht oder schlicht zu langsam ausgeliefert wird — existiert für den Dienst dahinter nicht. Auffindbarkeit beginnt damit nicht beim Text, sondern bei der Frage, ob der Text überhaupt ankommt.
Zu unterscheiden sind zwei Anlässe: das planmäßige Sammeln im Voraus und der Abruf im Moment einer konkreten Frage. Der zweite Fall ist der neuere — ein Assistent holt sich eine Seite genau dann, wenn jemand etwas wissen will. Für diesen Moment zählt, wie schnell und wie verständlich die Seite antwortet.
Verwandte Begriffe
Häufig gestellte Fragen.
Lohnt sich KI-ready für einen kleinen Betrieb — was ändert sich konkret?
Gerade für kleine Betriebe lohnt es sich, weil hier der Hebel am größten ist: Wenn die großen KI-Systeme deine Website fehlerfrei lesen und als verlässliche Quelle weiterempfehlen können, wirst du auch neben größeren Anbietern gefunden und genannt. KI-ready heißt konkret: klar strukturierte, mehrsprachig vollwertige Inhalte, strukturierte Daten (JSON-LD) und schnelles, maschinenlesbares HTML — damit ChatGPT, Gemini und Perplexity dich korrekt einordnen. Es geht ausdrücklich nicht darum, einen Chatbot auf deine Seite zu setzen, sondern darum, dass die KI da draußen dich richtig versteht und weiterempfiehlt.
Woran erkenne ich, ob eine Agentur wirklich versteht, wie eine KI meine Website liest?
Ein einfacher Test: Frag nach den letzten drei Projekten und wie dort mit KI-Sichtbarkeit umgegangen wurde. Wenn die Antwort bei Meta-Tags, Ladezeit und klassischen Rankings endet, deckt das nur die halbe Miete ab — wichtig, aber für KI-Antwortsysteme nicht entscheidend.
Wer wirklich versteht, wie eine KI eine Website liest, spricht über konkretere Dinge: ein maschinenlesbares Profil wie `llms.txt`, strukturierte Daten im JSON-LD-Format für Fakten wie Öffnungszeiten oder Leistungen, und ob KI-Crawler und -Agenten überhaupt technisch Zugang zur Seite haben. Das sind die Stellschrauben, die darüber entscheiden, ob eine KI deinen Betrieb korrekt zitieren oder empfehlen kann.