Amazonbot: robots トークン、検証方法、許可と拒否

このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。

All 21 documented crawlers

識別情報

Vendor text fetched on 2026-09-17: 'Automated crawling from these listed user agents respects the Robots Exclusion Protocol, honoring the user-agent and the allow/disallow directives.' The reverse DNS suffix comes from app/botverify.py (existing fleet data), not from this page. The published IP address URL recorded here is the one the vendor page names for Amazonbot itself; it answered http 200 on 2026-09-17. It had pointed at the list the same page names for Amzn-User, which is now a registry entry of its own.

許可または拒否

User-agent: Amazonbot
Allow: /

User-agent: Amazonbot
Disallow: /

robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。

Build a robots.txt with Amazonbot and every other documented token

よくある質問

Amazonbot は robots.txt に従いますか

https://developer.amazon.com/amazonbot にあるベンダーの文書は、Amazonbot が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-17 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。

robots.txt で Amazonbot を許可するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Amazonbot Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。

robots.txt で Amazonbot を拒否するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Amazonbot Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。

そのリクエストが本当に Amazonbot から来たかをどう確認しますか

ベンダーは逆引き DNS による確認方法を文書化しています。リクエストのアドレスを逆引きし、名前が .crawl.amazonbot.amazon で終わることを確認し、その名前をもう一度正引きして同じアドレスに戻ることを確かめてください。

計測している内容

robots.txt を読み取った 12976 件の収録ドメインのうち、1463 件が Amazonbot に対して / を拒否し、11513 件が許可しています。拒否は 11.3% です。2026-W43 週。件数のみで、ドメイン名は挙げません。

週次の AI クローラー アクセス指標

出典

無料データ

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

すべてのトークンでドメインを確認する

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。