anthropic-ai: robots-token, verificatie, toestaan of blokkeren
Deze pagina is machinaal vertaald. De cijfers en het bewijs komen ongewijzigd uit de opgeslagen waarnemingen.
anthropic-ai is een AI crawler die wordt beheerd door Anthropic. Het robots.txt token is anthropic-ai, en de documentatie van de leverancier die wij op 2026-09-06 hebben opgehaald is de bron van elke uitspraak op deze pagina.
| Robots token | anthropic-ai |
|---|---|
| Leverancier | Anthropic |
| Doel | undocumented |
| Gedocumenteerde controle | niet gepubliceerd |
| Documentatie van de leverancier voor het laatst gecontroleerd | 2026-09-06 |
| Aandeel van de gelezen domeinen dat het blokkeert voor / | 7.8% of 128 |
| Last verified |
Identiteit
| Robots token | anthropic-ai |
|---|---|
| Vergeleken als | anthropic-ai |
| Leverancier | Anthropic |
| Doel | undocumented |
| Documentatie | None |
| Gedocumenteerde controle | niet gepubliceerd |
documentation_url is null on purpose: the vendor help article fetched on 2026-09-06 documents three robots (ClaudeBot, Claude-User, Claude-SearchBot) and contains zero occurrences of 'anthropic-ai'. The token is still widely present in site robots.txt files, so it stays in the registry as a legacy token whose current behaviour the vendor does not document.
Toestaan of blokkeren
User-agent: anthropic-ai Allow: /
User-agent: anthropic-ai Disallow: /
Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt. Het is geen toegangscontrole, en deze pagina zegt niemand wat te kiezen.
Vragen
Hoe sta ik anthropic-ai toe in robots.txt?
Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: anthropic-ai Allow: /. Volgens RFC 9309 wordt het token hoofdletterongevoelig vergeleken als deel van de user agent, en de langste passende regel wint.
Hoe blokkeer ik anthropic-ai in robots.txt?
Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: anthropic-ai Disallow: /. Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt; het is geen toegangscontrole.
Hoe controleer ik of een verzoek echt van anthropic-ai kwam?
Wij hebben voor anthropic-ai geen gedocumenteerde controlemethode gevonden: de leverancier publiceert noch een bestand met IP reeksen, noch een reverse DNS afspraak die wij konden ophalen. Zonder die is een user agent tekst geen bewijs van herkomst.
Wat wij meten
Van de 128 opgenomen domeinen waarvan wij robots.txt hebben gelezen, blokkeren 10 anthropic-ai voor / en staan 118 het toe, dat is 7.8% geblokkeerd, week 2026-W37. Alleen aantallen: geen enkel domein wordt genoemd.
De wekelijkse index van AI crawler toegang
Bronnen
| Bron | Type | HTTP | Gecontroleerd | Opmerking |
|---|---|---|---|---|
| https://darkvisitors.com/agents/anthropic-ai | aggregator | 200 | 2026-09-06 | only source found; third party, not the vendor; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | negative evidence: 0 occurrences of anthropic-ai |
Vrije data
Controleer een domein tegen alle tokens
AEO Watch is een onafhankelijke, feitelijke monitor. Het is niet verbonden met een leverancier van crawlers, wordt door niemand onderschreven en spreekt namens niemand. Elke uitspraak is een waarneming met de datum waarop zij is gedaan en het ruwe bewijs erachter: een regel uit robots.txt, een HTTP statuscode, een header. Er zijn hier geen scores, geen cijfers en geen oordelen, en niets op deze pagina is advies. Een site kan zich op elk moment afmelden en die afmelding wordt automatisch en blijvend gerespecteerd.