ClaudeBot: robots-Token, Verifizierung, erlauben oder sperren

Diese Seite ist maschinell uebersetzt. Die Messwerte und die Belege stammen unveraendert aus den gespeicherten Beobachtungen.

All 21 documented crawlers

Identitaet

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Erlauben oder sperren

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt. Sie ist keine Zugriffskontrolle, und diese Seite sagt niemandem, wie er sich entscheiden soll.

Build a robots.txt with ClaudeBot and every other documented token

Fragen

Befolgt ClaudeBot die robots.txt?

Die Herstellerdokumentation unter https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler gibt an, dass ClaudeBot die robots.txt beachtet. Wir haben diese Seite abgerufen, und sie hat unserem Pruefer am 2026-09-17 geantwortet. Das haelt fest, was der Hersteller dokumentiert, nicht was eine einzelne Anfrage getan hat.

Wie erlaube ich ClaudeBot in der robots.txt?

Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: ClaudeBot Allow: /. Nach RFC 9309 wird der Token ohne Beachtung der Gross und Kleinschreibung als Teilzeichenkette des User Agent verglichen, und die laengste passende Regel gewinnt.

Wie sperre ich ClaudeBot in der robots.txt?

Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: ClaudeBot Disallow: /. Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt; sie ist keine Zugriffskontrolle.

Wie pruefe ich, ob eine Anfrage wirklich von ClaudeBot kam?

Der Hersteller veroeffentlicht unter https://claude.com/crawling/bots.json die IP Bereiche, aus denen dieser Crawler abruft. Vergleichen Sie die Adresse der Anfrage mit dieser Datei. Eine User Agent Zeichenkette allein beweist nichts, denn jeder kann sie senden.

Was wir messen

Von den 12976 erfassten Domains, deren robots.txt wir gelesen haben, sperren 1649 den Token ClaudeBot fuer / und 11327 erlauben ihn, das sind 12.7% gesperrt, Woche 2026-W43. Nur Zahlen: keine Domain wird genannt.

Der woechentliche Index des KI Crawler Zugangs

Quellen

Freie Daten

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Eine Domain gegen alle Token pruefen

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch ist ein unabhaengiger, faktischer Monitor. Er ist mit keinem Crawler Hersteller verbunden, wird von keinem unterstuetzt und spricht fuer keinen. Jede Aussage ist eine Beobachtung mit dem Datum, an dem sie gemacht wurde, und dem Rohbeleg dahinter: eine Zeile aus der robots.txt, ein HTTP Statuscode, ein Header. Es gibt hier keine Noten, keine Bewertungen und keine Urteile, und nichts auf dieser Seite ist eine Beratung. Eine Website kann jederzeit widersprechen, und der Widerspruch wird automatisch und dauerhaft beachtet.