Applebot-Extended: robots トークン、検証方法、許可と拒否

このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。

All 21 documented crawlers

識別情報

probe_supported is false on the vendor's own evidence: 'Applebot-Extended does not crawl webpages.' It is a robots.txt control token over the use of already crawled content in Apple generative models. Reverse DNS suffix is the one app/botverify.py forward confirms.

許可または拒否

User-agent: Applebot-Extended
Allow: /

User-agent: Applebot-Extended
Disallow: /

robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。

Build a robots.txt with Applebot-Extended and every other documented token

よくある質問

Applebot-Extended は robots.txt に従いますか

https://support.apple.com/en-us/119829 にあるベンダーの文書は、Applebot-Extended が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-06 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。

robots.txt で Applebot-Extended を許可するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Applebot-Extended Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。

robots.txt で Applebot-Extended を拒否するにはどうしますか

ホストのルートにある robots.txt に次のグループを追加します: User-agent: Applebot-Extended Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。

そのリクエストが本当に Applebot-Extended から来たかをどう確認しますか

ベンダーは逆引き DNS による確認方法を文書化しています。リクエストのアドレスを逆引きし、名前が .applebot.apple.com で終わることを確認し、その名前をもう一度正引きして同じアドレスに戻ることを確かめてください。

計測している内容

robots.txt を読み取った 12976 件の収録ドメインのうち、1443 件が Applebot-Extended に対して / を拒否し、11533 件が許可しています。拒否は 11.1% です。2026-W43 週。件数のみで、ドメイン名は挙げません。

週次の AI クローラー アクセス指標

出典

無料データ

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

すべてのトークンでドメインを確認する

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。