anthropic-ai: robots トークン、検証方法、許可と拒否
このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。
anthropic-ai は Anthropic が運用する AI クローラーです。robots.txt のトークンは anthropic-ai で、2026-09-17 に取得したベンダーの文書がこのページのすべての記述の出典です。
| robots トークン | anthropic-ai |
|---|---|
| ベンダー | Anthropic |
| 目的 | undocumented |
| 文書化された検証方法 | 公開なし |
| ベンダー文書の最終確認 | 2026-09-17 |
| 読み取ったドメインのうち / を拒否する割合 | 9.8% of 12976 |
| Last verified |
識別情報
| robots トークン | anthropic-ai |
|---|---|
| 照合される文字列 | anthropic-ai |
| ベンダー | Anthropic |
| 目的 | undocumented |
| 文書 | None |
| 文書化された検証方法 | 公開なし |
documentation_url is null on purpose: the vendor help article fetched on 2026-09-06 documents three robots (ClaudeBot, Claude-User, Claude-SearchBot) and contains zero occurrences of 'anthropic-ai'. The token is still widely present in site robots.txt files, so it stays in the registry as a legacy token whose current behaviour the vendor does not document.
許可または拒否
User-agent: anthropic-ai Allow: /
User-agent: anthropic-ai Disallow: /
robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。
Build a robots.txt with anthropic-ai and every other documented token
よくある質問
robots.txt で anthropic-ai を許可するにはどうしますか
ホストのルートにある robots.txt に次のグループを追加します: User-agent: anthropic-ai Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。
robots.txt で anthropic-ai を拒否するにはどうしますか
ホストのルートにある robots.txt に次のグループを追加します: User-agent: anthropic-ai Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。
そのリクエストが本当に anthropic-ai から来たかをどう確認しますか
anthropic-ai について文書化された確認方法は見つかりませんでした。ベンダーは私たちが取得できる IP レンジのファイルも逆引き DNS の規約も公開していません。それがなければ User Agent 文字列は出所の証拠になりません。
計測している内容
robots.txt を読み取った 12976 件の収録ドメインのうち、1278 件が anthropic-ai に対して / を拒否し、11698 件が許可しています。拒否は 9.8% です。2026-W43 週。件数のみで、ドメイン名は挙げません。
出典
| 出典 | 種類 | HTTP | 確認日 | 備考 |
|---|---|---|---|---|
| https://darkvisitors.com/agents/anthropic-ai | aggregator | 200 | 2026-09-06 | only source found; third party, not the vendor; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-17 | negative evidence: 0 occurrences of anthropic-ai |
無料データ
- The AEO Watch dataset
- Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
- The AEO Watch API
- The checker as a command line tool (one file, no install)
Check your own site
The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.
Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.
AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。
Cite this
| anthropic-ai: robots トークン、検証方法、許可または拒否の書き方 - https://bikoosh.com/ja/aeo/crawler/anthropic-ai | |
| <a href="https://bikoosh.com/ja/aeo/crawler/anthropic-ai">anthropic-ai: robots トークン、検証方法、許可または拒否の書き方</a> | |
| [anthropic-ai: robots トークン、検証方法、許可または拒否の書き方](https://bikoosh.com/ja/aeo/crawler/anthropic-ai) | |
| anthropic-ai: robots トークン、検証方法、許可または拒否の書き方. Bikoosh. Retrieved 2026-10-22, from https://bikoosh.com/ja/aeo/crawler/anthropic-ai |