Google-Extended: robots トークン、検証方法、許可と拒否
このページは機械翻訳です。数値と証拠は保存された観測結果をそのまま表示しています。
Google-Extended は Google が運用する AI クローラーです。robots.txt のトークンは Google-Extended で、2026-09-06 に取得したベンダーの文書がこのページのすべての記述の出典です。
| robots トークン | Google-Extended |
|---|---|
| ベンダー | |
| 目的 | training corpus, grounding |
| 文書化された検証方法 | 公開された IP レンジ |
| ベンダー文書の最終確認 | 2026-09-06 |
| 読み取ったドメインのうち / を拒否する割合 | 17.2% of 128 |
| Last verified |
識別情報
| robots トークン | Google-Extended |
|---|---|
| 照合される文字列 | google-extended |
| ベンダー | |
| 目的 | training corpus, grounding |
| 文書 | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| 文書化された検証方法 | 公開された IP レンジ: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
許可または拒否
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
robots.txt の規則は行儀のよいクローラーが尊重する要請です。アクセス制御ではなく、このページは何を選ぶべきかを誰にも指示しません。
よくある質問
Google-Extended は robots.txt に従いますか
https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers にあるベンダーの文書は、Google-Extended が robots.txt を尊重すると記載しています。私たちはそのページを取得し、2026-09-06 に確認しました。これはベンダーが文書化している内容の記録であり、個々のリクエストの動作ではありません。
robots.txt で Google-Extended を許可するにはどうしますか
ホストのルートにある robots.txt に次のグループを追加します: User-agent: Google-Extended Allow: /。RFC 9309 により、トークンは User Agent の部分文字列として大文字と小文字を区別せずに照合され、最も長く一致した規則が優先されます。
robots.txt で Google-Extended を拒否するにはどうしますか
ホストのルートにある robots.txt に次のグループを追加します: User-agent: Google-Extended Disallow: /。robots.txt の規則は行儀のよいクローラーが尊重する要請であり、アクセス制御ではありません。
そのリクエストが本当に Google-Extended から来たかをどう確認しますか
ベンダーはこのクローラーが取得に使う IP レンジを https://developers.google.com/static/search/apis/ipranges/special-crawlers.json で公開しています。リクエストの送信元アドレスをそのファイルと照合してください。User Agent 文字列だけでは何も証明できません。誰でも送れるからです。
計測している内容
robots.txt を読み取った 128 件の収録ドメインのうち、22 件が Google-Extended に対して / を拒否し、106 件が許可しています。拒否は 17.2% です。2026-W37 週。件数のみで、ドメイン名は挙げません。
出典
| 出典 | 種類 | HTTP | 確認日 | 備考 |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
無料データ
AEO Watch は独立した事実重視のモニターです。いかなるクローラー提供者とも提携しておらず、推奨も代弁もしません。すべての記述は、実施した日付と根拠となる生の証拠を伴う観測です。robots.txt の一行、HTTP ステータスコード、ヘッダーなどです。ここに点数、等級、判定はなく、このページのどの内容も助言ではありません。サイトはいつでも除外を求めることができ、その求めは自動的かつ恒久的に守られます。