Claude-SearchBot: robots トークン、検証方法、許可と拒否

このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。

All 21 documented crawlers

識別情報

Third robot documented by the vendor: 'Claude-SearchBot navigates the web to improve search result quality for users.' It shares the one published IP range file with the other two Anthropic robots, and it was added to app/main.AI_CRAWLERS on 2026-09-17, so hits carrying it are bucketed and verified like theirs instead of going uncounted.

許可または拒否

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-SearchBot
Disallow: /

robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。

Build a robots.txt with Claude-SearchBot and every other documented token

よくある質問

Claude-SearchBot は robots.txt に従いますか

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler にあるベンダーの文書は、Claude-SearchBot が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-17 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。

robots.txt で Claude-SearchBot を許可するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Claude-SearchBot Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。

robots.txt で Claude-SearchBot を拒否するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Claude-SearchBot Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。

そのリクエストが本当に Claude-SearchBot から来たかをどう確認しますか

ベンダーはこのクローラーが取得に使う IP レンジを https://claude.com/crawling/bots.json で公開しています。リクエストの送信元アドレスをそのファイルと照合してください。User Agent 文字列だけでは何も証明できません。誰でも送れるからです。

計測している内容

robots.txt を読み取った 12976 件の収録ドメインのうち、721 件が Claude-SearchBot に対して / を拒否し、12255 件が許可しています。拒否は 5.6% です。2026-W43 週。件数のみで、ドメイン名は挙げません。

週次の AI クローラー アクセス指標

出典

無料データ

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

すべてのトークンでドメインを確認する

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。