ClaudeBot: robots トークン、検証方法、許可と拒否

このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。

All 21 documented crawlers

識別情報

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

許可または拒否

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。

Build a robots.txt with ClaudeBot and every other documented token

よくある質問

ClaudeBot は robots.txt に従いますか

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler にあるベンダーの文書は、ClaudeBot が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-17 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。

robots.txt で ClaudeBot を許可するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: ClaudeBot Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。

robots.txt で ClaudeBot を拒否するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: ClaudeBot Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。

そのリクエストが本当に ClaudeBot から来たかをどう確認しますか

ベンダーはこのクローラーが取得に使う IP レンジを https://claude.com/crawling/bots.json で公開しています。リクエストの送信元アドレスをそのファイルと照合してください。User Agent 文字列だけでは何も証明できません。誰でも送れるからです。

計測している内容

robots.txt を読み取った 12976 件の収録ドメインのうち、1649 件が ClaudeBot に対して / を拒否し、11327 件が許可しています。拒否は 12.7% です。2026-W43 週。件数のみで、ドメイン名は挙げません。

週次の AI クローラー アクセス指標

出典

無料データ

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

すべてのトークンでドメインを確認する

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。