Das ai-discovery-radar

Was gemessen wird

Das Radar prüft, welche maschinenlesbaren Dateien eine Website für Maschinen bereitstellt: die robots.txt, die seit dreißig Jahren regelt, welche Bereiche automatische Besucher betreten dürfen. Die llms.txt, ein Inhaltsverzeichnis für Sprachmodelle. Die ai-catalog.json, die beschreibt, welche Inhalte und Dienste eine Domain KI-Agenten anbietet. Insgesamt stehen 37 solcher Wege in der laufenden Messung.

Dazu kommt, was wir bewusst nicht messen. 23 weitere Wege stehen unter Beobachtung: bekannt, aber noch nicht verbreitet genug, um bei jedem Host der Stichprobe eine Anfrage zu rechtfertigen. Und 49 haben wir geprüft und wieder verworfen — mit Begründung, Eintrag für Eintrag. Ein Katalog wird nicht besser, indem man jedes Format aufnimmt, von dem jemand redet.

Abgerufen werden ausschließlich öffentliche, für Maschinen bestimmte Konfigurationsdateien — keine Seiteninhalte, keine Bilder, keine Texte. Die Messung hält sich an die robots.txt der jeweiligen Domain und nennt sich beim Namen.

Was das Panel zeigt

Stand November 2026, gemessen an einer geschichteten Stichprobe von 8.603 erreichbaren Domains:

• 84,9 % liefern eine robots.txt aus. Der alte Standard ist der einzige, den fast alle bedienen.
• 14,8 % liefern eine llms.txt. Das Format ist jung, die Verbreitung entsprechend.
• 0,1 % liefern eine ai-catalog.json. Von den 37 geprüften Wegen kam bei 5 über das gesamte Panel hinweg keine einzige Antwort.

Diese Nullen sind kein Messfehler. Sie sind das Ergebnis. Über viele dieser Formate wird geredet, als wären sie etabliert — im offenen Web sind sie es nicht.

Seit Oktober 2026 messen wir jeden Monat ein Panel von 10.000 Quellen; die Zahlen oben sind der jüngste Lauf. Das frühere Panel von 1.000 Quellen läuft bis Dezember als eigene Reihe weiter. Verglichen wird nur innerhalb einer Reihe. Im November 2026 ist das Panel gegenüber Oktober überall stabil; ein Pfeil erscheint nur, wenn sich die 95-%-Intervalle beider Monate nicht überschneiden. Die Erkundungsserie vom August 2026 über 16.554 Domains bleibt als Basislinie im GitHub-Repo dokumentiert.

Die Messung in Zahlen

• Panel: 10.000 Quellen, jeden Monat dieselben; im November 2026 8.603 erreichbar.
• Rahmen: 30.000 Quellen; jeden Monat kommt ein Drittel dazu, zusammen mit dem Panel rund 16.800 Quellen pro Monat.
• Messwege: 37, nach Regelsatz 0.4.0.
• 1.000er-Reihe: dieselben 1.000 Quellen seit August 2026, als eigene Reihe bis Dezember 2026.
• Erster voller Rahmen (September bis November 2026): 25.851 erreichbare Organisationen, als eigene Datei im Datensatz.

Warum wir das offenlegen

Wir bauen Websites, die von Menschen und von KI-Systemen gefunden werden sollen. Diese Arbeit braucht Zahlen statt Annahmen: Welcher Weg trägt heute wirklich, und welcher ist eine Wette auf morgen? Wer das nicht misst, verkauft Vermutungen.

Deshalb ist das Verfahren öffentlich — Stichprobe, Regelsatz, Konfidenzintervalle, und die Wege, die bei null herauskamen, stehen mit in der Tabelle. Wer eine dieser Zahlen anzweifelt, kann sie nachrechnen. Das ist der Punkt.

Das vollständige Verfahren — Klassifikationsmodell, Nennerregel, Stichprobendesign, Prüfverfahren und die Messfallen, die uns selbst Daten gekostet haben — steht im Technical Report v1.0 (Zenodo, DOI 10.5281/zenodo.22769680, CC BY 4.0, englisch). Wer eine Quote zitiert, sollte ihn vorher gelesen haben.

Verantwortlich für Messung, Auswertung und Bericht: Florian Berger, Berger+Team, Bozen · ORCID 0009-0008-5780-1147

Wer nicht gemessen werden will

Keine Rückfragen, keine Begründung. Eine E-Mail mit der Domain genügt, oder eine Zeile in der eigenen robots.txt. Ausgeschlossene Domains werden übersprungen, bevor eine Anfrage gestellt wird.

Das Radar auf GitHub ansehen