ClaudeBot: robots-Token, Verifizierung, erlauben oder sperren
Diese Seite ist maschinell uebersetzt. Die Messwerte und die Belege stammen unveraendert aus den gespeicherten Beobachtungen.
ClaudeBot ist ein KI Crawler, betrieben von Anthropic. Sein robots.txt Token lautet ClaudeBot, und die Herstellerdokumentation, die wir am 2026-09-06 abgerufen haben, ist die Quelle jeder Aussage auf dieser Seite.
| Robots Token | ClaudeBot |
|---|---|
| Hersteller | Anthropic |
| Zweck | training corpus |
| Dokumentierte Pruefung | nicht veroeffentlicht |
| Herstellerdokumentation zuletzt geprueft | 2026-09-06 |
| Anteil der gelesenen Domains, die ihn fuer / sperren | 17.2% of 128 |
| Last verified |
Identitaet
| Robots Token | ClaudeBot |
|---|---|
| Abgeglichen als | claudebot |
| Hersteller | Anthropic |
| Zweck | training corpus |
| Dokumentation | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
| Dokumentierte Pruefung | nicht veroeffentlicht |
Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' No published IP ranges and no reverse DNS convention were found on 2026-09-06, so a hit carrying this token is recorded as unverifiable, never as verified (same rule as app/botverify.py).
Erlauben oder sperren
User-agent: ClaudeBot Allow: /
User-agent: ClaudeBot Disallow: /
Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt. Sie ist keine Zugriffskontrolle, und diese Seite sagt niemandem, wie er sich entscheiden soll.
Fragen
Befolgt ClaudeBot die robots.txt?
Die Herstellerdokumentation unter https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler gibt an, dass ClaudeBot die robots.txt beachtet. Wir haben diese Seite abgerufen, und sie hat unserem Pruefer am 2026-09-06 geantwortet. Das haelt fest, was der Hersteller dokumentiert, nicht was eine einzelne Anfrage getan hat.
Wie erlaube ich ClaudeBot in der robots.txt?
Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: ClaudeBot Allow: /. Nach RFC 9309 wird der Token ohne Beachtung der Gross und Kleinschreibung als Teilzeichenkette des User Agent verglichen, und die laengste passende Regel gewinnt.
Wie sperre ich ClaudeBot in der robots.txt?
Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: ClaudeBot Disallow: /. Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt; sie ist keine Zugriffskontrolle.
Wie pruefe ich, ob eine Anfrage wirklich von ClaudeBot kam?
Wir haben fuer ClaudeBot keine dokumentierte Pruefmethode gefunden: Der Hersteller veroeffentlicht weder eine Datei mit IP Bereichen noch eine Reverse DNS Konvention, die wir abrufen koennten. Ohne eine solche ist eine User Agent Zeichenkette kein Beleg fuer die Herkunft.
Was wir messen
Von den 128 erfassten Domains, deren robots.txt wir gelesen haben, sperren 22 den Token ClaudeBot fuer / und 106 erlauben ihn, das sind 17.2% gesperrt, Woche 2026-W37. Nur Zahlen: keine Domain wird genannt.
Der woechentliche Index des KI Crawler Zugangs
Quellen
| Quelle | Typ | HTTP | Geprueft | Hinweis |
|---|---|---|---|---|
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | URL taken from the support.claude.com sitemap, not guessed; 12 occurrences of ClaudeBot and the exact snippet 'User-agent: ClaudeBot Disallow: /' in the body |
| https://darkvisitors.com/agents/claudebot | aggregator | 200 | 2026-09-06 | third-party aggregator, redirects to knownagents.com; corroboration only; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
Freie Daten
Eine Domain gegen alle Token pruefen
AEO Watch ist ein unabhaengiger, faktischer Monitor. Er ist mit keinem Crawler Hersteller verbunden, wird von keinem unterstuetzt und spricht fuer keinen. Jede Aussage ist eine Beobachtung mit dem Datum, an dem sie gemacht wurde, und dem Rohbeleg dahinter: eine Zeile aus der robots.txt, ein HTTP Statuscode, ein Header. Es gibt hier keine Noten, keine Bewertungen und keine Urteile, und nichts auf dieser Seite ist eine Beratung. Eine Website kann jederzeit widersprechen, und der Widerspruch wird automatisch und dauerhaft beachtet.