ClaudeBot: robots-token, verificatie, toestaan of blokkeren

Deze pagina is machinaal vertaald. De cijfers en het bewijs komen ongewijzigd uit de opgeslagen waarnemingen.

All 21 documented crawlers

Identiteit

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Toestaan of blokkeren

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt. Het is geen toegangscontrole, en deze pagina zegt niemand wat te kiezen.

Build a robots.txt with ClaudeBot and every other documented token

Vragen

Volgt ClaudeBot robots.txt?

De documentatie van de leverancier op https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler stelt dat ClaudeBot robots.txt respecteert. Wij hebben die pagina opgehaald en zij antwoordde onze controle op 2026-09-17. Dit legt vast wat de leverancier documenteert, niet wat een afzonderlijk verzoek deed.

Hoe sta ik ClaudeBot toe in robots.txt?

Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: ClaudeBot Allow: /. Volgens RFC 9309 wordt het token hoofdletterongevoelig vergeleken als deel van de user agent, en de langste passende regel wint.

Hoe blokkeer ik ClaudeBot in robots.txt?

Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: ClaudeBot Disallow: /. Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt; het is geen toegangscontrole.

Hoe controleer ik of een verzoek echt van ClaudeBot kwam?

De leverancier publiceert op https://claude.com/crawling/bots.json de IP reeksen waaruit deze crawler ophaalt. Vergelijk het adres van het verzoek met dat bestand. Een user agent tekst op zichzelf bewijst niets, want iedereen kan die versturen.

Wat wij meten

Van de 12976 opgenomen domeinen waarvan wij robots.txt hebben gelezen, blokkeren 1649 ClaudeBot voor / en staan 11327 het toe, dat is 12.7% geblokkeerd, week 2026-W43. Alleen aantallen: geen enkel domein wordt genoemd.

De wekelijkse index van AI crawler toegang

Bronnen

Vrije data

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Controleer een domein tegen alle tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch is een onafhankelijke, feitelijke monitor. Het is niet verbonden met een leverancier van crawlers, wordt door niemand onderschreven en spreekt namens niemand. Elke uitspraak is een waarneming met de datum waarop zij is gedaan en het ruwe bewijs erachter: een regel uit robots.txt, een HTTP statuscode, een header. Er zijn hier geen scores, geen cijfers en geen oordelen, en niets op deze pagina is advies. Een site kan zich op elk moment afmelden en die afmelding wordt automatisch en blijvend gerespecteerd.