Claude-User: robots トークン、検証方法、許可と拒否

このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。

All 21 documented crawlers

識別情報

Vendor text: 'When individuals ask questions to Claude, it may access websites using a Claude-User agent.' Disabling it is documented to reduce visibility for user directed web search. The three documented Anthropic robots share one published IP range file, which is what verifies a hit carrying this token. Read again on 2026-09-17.

許可または拒否

User-agent: Claude-User
Allow: /

User-agent: Claude-User
Disallow: /

robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。

Build a robots.txt with Claude-User and every other documented token

よくある質問

Claude-User は robots.txt に従いますか

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler にあるベンダーの文書は、Claude-User が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-17 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。

robots.txt で Claude-User を許可するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Claude-User Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。

robots.txt で Claude-User を拒否するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Claude-User Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。

そのリクエストが本当に Claude-User から来たかをどう確認しますか

ベンダーはこのクローラーが取得に使う IP レンジを https://claude.com/crawling/bots.json で公開しています。リクエストの送信元アドレスをそのファイルと照合してください。User Agent 文字列だけでは何も証明できません。誰でも送れるからです。

計測している内容

robots.txt を読み取った 12976 件の収録ドメインのうち、739 件が Claude-User に対して / を拒否し、12237 件が許可しています。拒否は 5.7% です。2026-W43 週。件数のみで、ドメイン名は挙げません。

週次の AI クローラー アクセス指標

出典

無料データ

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

すべてのトークンでドメインを確認する

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。