# Das ai-discovery-radar > Monatliche offene Messung: welche Discovery-Dateien Websites für Maschinen bereitstellen — robots.txt, llms.txt, ai-catalog.json und mehr. Gemessen, nicht geschätzt. btlabs Core · offene Messung Wir messen, was Maschinen auf Websites tatsächlich vorfinden — und veröffentlichen es, auch wenn es unbequem ist. Über KI-Sichtbarkeit wird viel behauptet und wenig gemessen. Welche Wege eine Website Maschinen anbietet, damit sie gefunden und richtig gelesen wird, lässt sich aber schlicht nachzählen. Genau das tun wir, monatlich, öffentlich und mit offengelegtem Verfahren. Datensatz ## AI Discovery Radar — adoption measurements for machine-readable discovery and consent routes v2026.11 · 6\. November 2026 · CC BY 4.0 Monthly measurements of how many websites in a frozen, stratified sample (Tranco + Chrome UX Report country lists) publish machine-readable discovery and consent files (robots.txt, llms.txt, TDMRep, agent-card.json and others). Shares over observed hosts only, Wilson 95% intervals; full ruleset with version history in RULESET.md. Data files carry run identifier and ruleset version; numbers across ruleset versions are not comparable. Each release carries the data files of its month: the fixed panel (trend series; 10,000 sources since October 2026, until December 2026 also the original 1,000-source panel as its own series) and the month's block of the wider 30,000-source frame (coverage series); every file states its measurement window and whether it is complete. After the last month of each pass through the frame, a full-frame roll-up file (quartal-YYYY-qN) counts every frame source exactly once and names the runs it is built from. DOI [10.5281/zenodo.22178282](https://doi.org/10.5281/zenodo.22178282) [Repository-Eintrag](https://zenodo.org/records/23998918)[Datei herunterladen · 103 KB](https://zenodo.org/api/records/23998918/files/flober81/ai-discovery-radar-v2026.11.zip/content)[Methodenbericht (DOI)](https://doi.org/10.5281/zenodo.22769679) ### Zitieren Berger, Florian (2026). AI Discovery Radar — adoption measurements for machine-readable discovery and consent routes (v2026.11) \[Dataset\]. Zenodo. https://doi.org/10.5281/zenodo.22178282 ## Was gemessen wird Das Radar prüft, welche [maschinenlesbaren](https://btlabs.dev/de/glossary/maschinenlesbare-website) Dateien eine Website für Maschinen bereitstellt: die `robots.txt`, die seit dreißig Jahren regelt, welche Bereiche automatische Besucher betreten dürfen. Die `llms.txt`, ein Inhaltsverzeichnis für [Sprachmodelle](https://btlabs.dev/de/glossary/llm-large-language-model) . Die `ai-catalog.json`, die beschreibt, welche Inhalte und Dienste eine Domain [KI-Agenten](https://btlabs.dev/de/glossary/ki-agent) anbietet. Insgesamt stehen **37** solcher Wege in der laufenden Messung. Dazu kommt, was wir bewusst **nicht** messen. **23** weitere Wege stehen unter Beobachtung: bekannt, aber noch nicht verbreitet genug, um bei jedem Host der Stichprobe eine Anfrage zu rechtfertigen. Und **49** haben wir geprüft und wieder verworfen — mit Begründung, Eintrag für Eintrag. Ein Katalog wird nicht besser, indem man jedes Format aufnimmt, von dem jemand redet. Abgerufen werden ausschließlich öffentliche, für Maschinen bestimmte Konfigurationsdateien — keine Seiteninhalte, keine Bilder, keine Texte. Die Messung hält sich an die `robots.txt` der jeweiligen Domain und nennt sich beim Namen. ## Was das Panel zeigt Stand **November 2026**, gemessen an einer geschichteten Stichprobe von **8.603** erreichbaren Domains: - **84,9 %** liefern eine `robots.txt` aus. Der alte Standard ist der einzige, den fast alle bedienen. - **14,8 %** liefern eine `llms.txt`. Das Format ist jung, die Verbreitung entsprechend. - **0,1 %** liefern eine `ai-catalog.json`. Von den 37 geprüften Wegen kam bei 5 über das gesamte Panel hinweg keine einzige Antwort. Diese Nullen sind kein Messfehler. Sie sind das Ergebnis. Über viele dieser Formate wird geredet, als wären sie etabliert — im offenen Web sind sie es nicht. Seit Oktober 2026 messen wir jeden Monat ein Panel von 10.000 Quellen; die Zahlen oben sind der jüngste Lauf. Das frühere Panel von 1.000 Quellen läuft bis Dezember als eigene Reihe weiter. Verglichen wird nur innerhalb einer Reihe. Im November 2026 ist das Panel gegenüber Oktober überall stabil; ein Pfeil erscheint nur, wenn sich die 95-%-Intervalle beider Monate nicht überschneiden. Die Erkundungsserie vom August 2026 über 16.554 Domains bleibt als Basislinie im GitHub-Repo dokumentiert. ### Die Messung in Zahlen - **Panel:** 10.000 Quellen, jeden Monat dieselben; im November 2026 8.603 erreichbar. - **Rahmen:** 30.000 Quellen; jeden Monat kommt ein Drittel dazu, zusammen mit dem Panel rund 16.800 Quellen pro Monat. - **Messwege:** 37, nach Regelsatz 0.4.0. - **1.000er-Reihe:** dieselben 1.000 Quellen seit August 2026, als eigene Reihe bis Dezember 2026. - **Erster voller Rahmen** (September bis November 2026): 25.851 erreichbare Organisationen, als eigene Datei im Datensatz. ## Warum wir das offenlegen Wir bauen Websites, die von Menschen und von KI-Systemen gefunden werden sollen. Diese Arbeit braucht Zahlen statt Annahmen: Welcher Weg trägt heute wirklich, und welcher ist eine Wette auf morgen? Wer das nicht misst, verkauft Vermutungen. Deshalb ist das Verfahren öffentlich — Stichprobe, Regelsatz, Konfidenzintervalle, und die Wege, die bei null herauskamen, stehen mit in der Tabelle. Wer eine dieser Zahlen anzweifelt, kann sie nachrechnen. Das ist der Punkt. Das vollständige Verfahren — Klassifikationsmodell, Nennerregel, Stichprobendesign, Prüfverfahren und die Messfallen, die uns selbst Daten gekostet haben — steht im [Technical Report v1.0](https://doi.org/10.5281/zenodo.22769680) (Zenodo, DOI 10.5281/zenodo.22769680, CC BY 4.0, englisch). Wer eine Quote zitiert, sollte ihn vorher gelesen haben. Verantwortlich für Messung, Auswertung und Bericht: [**Florian Berger**](https://btlabs.dev/de/team/florian-berger), Berger+Team, Bozen · ORCID [0009-0008-5780-1147](https://orcid.org/0009-0008-5780-1147) ## Wer nicht gemessen werden will Keine Rückfragen, keine Begründung. Eine E-Mail mit der Domain genügt, oder eine Zeile in der eigenen `robots.txt`. Ausgeschlossene Domains werden übersprungen, **bevor** eine Anfrage gestellt wird. [Das Radar auf GitHub ansehen](https://github.com/flober81/ai-discovery-radar) Reden wir Klartext ## Fragen zur Messung? Schreib uns — zur Methode, zu einer einzelnen Zahl, oder wenn deine Domain nicht gemessen werden soll. - Antwort in der Regel binnen 24 Stunden - Austragung ohne Rückfragen - Verfahren vollständig offengelegt Name des Betriebs Dein Name E-Mail-Adresse Worum geht’s? **Ja, macht den kostenlosen KI-Ready-Check für mich.** Analysiert vorab unverbindlich, was KI-Modelle wie ChatGPT aktuell über meinen Betrieb wissen — und wo meine blinden Flecken sind. Ich akzeptiere die [Datenschutzerklärung](https://btlabs.dev/de/datenschutz). Unverbindlich · Ehrlich · Kein Bot --- Source: https://btlabs.dev/de/ai-discovery-radar Languages: [it](https://btlabs.dev/llms/it/ai-discovery-radar) · [en](https://btlabs.dev/llms/en/ai-discovery-radar) See also: [llms.txt](https://btlabs.dev/llms.txt) · [ai.txt (Policy)](https://btlabs.dev/ai.txt) · [identity.json](https://btlabs.dev/identity.json)