Claude-SearchBot: robots jetonu, dogrulama, izin verme veya engelleme

Bu sayfa makine cevirisidir. Sayilar ve kanitlar kayitli gozlemlerden oldugu gibi gelir.

All 21 documented crawlers

Kimlik

Third robot documented by the vendor: 'Claude-SearchBot navigates the web to improve search result quality for users.' It shares the one published IP range file with the other two Anthropic robots, and it was added to app/main.AI_CRAWLERS on 2026-09-17, so hits carrying it are bucketed and verified like theirs instead of going uncounted.

Izin ver veya engelle

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-SearchBot
Disallow: /

robots.txt kurali, iyi davranan bir tarayicinin yerine getirdigi bir ricadir. Bir erisim denetimi degildir ve bu sayfa kimseye ne secmesi gerektigini soylemez.

Build a robots.txt with Claude-SearchBot and every other documented token

Sorular

Claude-SearchBot robots.txt kurallarina uyar mi?

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler adresindeki saglayici belgeleri Claude-SearchBot icin robots.txt dosyasina uyuldugunu belirtiyor. Bu sayfayi indirdik ve 2026-09-17 tarihinde denetleyicimize yanit verdi. Bu, saglayicinin belgeledigi seyin kaydidir, tek bir istegin ne yaptiginin degil.

robots.txt icinde Claude-SearchBot nasil izin verilir?

Bu grubu sunucunun kokundeki robots.txt dosyasina ekleyin: User-agent: Claude-SearchBot Allow: /. RFC 9309 uyarinca belirtec, kullanici aracisi dizesinin bir parcasi olarak buyuk kucuk harf ayrimi gozetmeden eslesir ve en uzun eslesen kural gecerlidir.

robots.txt icinde Claude-SearchBot nasil engellenir?

Bu grubu sunucunun kokundeki robots.txt dosyasina ekleyin: User-agent: Claude-SearchBot Disallow: /. robots.txt kurali, iyi davranan bir tarayicinin yerine getirdigi bir ricadir; bir erisim denetimi degildir.

Bir istegin gercekten Claude-SearchBot tarafindan gonderildigini nasil dogrularim?

Saglayici, bu tarayicinin istek gonderdigi IP araliklarini https://claude.com/crawling/bots.json adresinde yayimlar. Istegin adresini bu dosyayla karsilastirin. Tek basina bir kullanici aracisi dizesi hicbir sey kanitlamaz, cunku herkes onu gonderebilir.

Neyi olcuyoruz

robots.txt dosyasini okudugumuz 12976 kayitli alan adindan 721 tanesi Claude-SearchBot icin / yolunu engelliyor, 12255 tanesi izin veriyor, yani yuzde 5.6 engelli, hafta 2026-W43. Yalnizca sayilar: hicbir alan adi anilmaz.

Haftalik yapay zeka tarayici erisim endeksi

Kaynaklar

Ucretsiz veri

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Bir alan adini tum jetonlara karsi kontrol et

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch bagimsiz ve olgusal bir izleme hizmetidir. Hicbir tarayici saglayicisiyla baglantili degildir, hicbiri tarafindan desteklenmez ve hicbiri adina konusmaz. Her ifade, yapildigi tarihi ve arkasindaki ham kaniti tasiyan bir gozlemdir: bir robots.txt satiri, bir HTTP durum kodu, bir baslik. Burada puan, not ve hukum yoktur ve bu sayfadaki hicbir sey tavsiye degildir. Bir site istedigi anda kapsam disinda kalmayi isteyebilir ve bu istek otomatik ve kalici olarak yerine getirilir.