Google-Extended: robots-Token, Verifizierung, erlauben oder sperren
Diese Seite ist maschinell uebersetzt. Die Messwerte und die Belege stammen unveraendert aus den gespeicherten Beobachtungen.
Google-Extended ist ein KI Crawler, betrieben von Google. Sein robots.txt Token lautet Google-Extended, und die Herstellerdokumentation, die wir am 2026-09-06 abgerufen haben, ist die Quelle jeder Aussage auf dieser Seite.
| Robots Token | Google-Extended |
|---|---|
| Hersteller | |
| Zweck | training corpus, grounding |
| Dokumentierte Pruefung | veroeffentlichte IP Bereiche |
| Herstellerdokumentation zuletzt geprueft | 2026-09-06 |
| Anteil der gelesenen Domains, die ihn fuer / sperren | 17.2% of 128 |
| Last verified |
Identitaet
| Robots Token | Google-Extended |
|---|---|
| Abgeglichen als | google-extended |
| Hersteller | |
| Zweck | training corpus, grounding |
| Dokumentation | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| Dokumentierte Pruefung | veroeffentlichte IP Bereiche: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
Erlauben oder sperren
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt. Sie ist keine Zugriffskontrolle, und diese Seite sagt niemandem, wie er sich entscheiden soll.
Fragen
Befolgt Google-Extended die robots.txt?
Die Herstellerdokumentation unter https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers gibt an, dass Google-Extended die robots.txt beachtet. Wir haben diese Seite abgerufen, und sie hat unserem Pruefer am 2026-09-06 geantwortet. Das haelt fest, was der Hersteller dokumentiert, nicht was eine einzelne Anfrage getan hat.
Wie erlaube ich Google-Extended in der robots.txt?
Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: Google-Extended Allow: /. Nach RFC 9309 wird der Token ohne Beachtung der Gross und Kleinschreibung als Teilzeichenkette des User Agent verglichen, und die laengste passende Regel gewinnt.
Wie sperre ich Google-Extended in der robots.txt?
Fuegen Sie diese Gruppe in die robots.txt im Wurzelverzeichnis des Hosts ein: User-agent: Google-Extended Disallow: /. Eine Regel in der robots.txt ist eine Bitte, die ein gut erzogener Crawler befolgt; sie ist keine Zugriffskontrolle.
Wie pruefe ich, ob eine Anfrage wirklich von Google-Extended kam?
Der Hersteller veroeffentlicht unter https://developers.google.com/static/search/apis/ipranges/special-crawlers.json die IP Bereiche, aus denen dieser Crawler abruft. Vergleichen Sie die Adresse der Anfrage mit dieser Datei. Eine User Agent Zeichenkette allein beweist nichts, denn jeder kann sie senden.
Was wir messen
Von den 128 erfassten Domains, deren robots.txt wir gelesen haben, sperren 22 den Token Google-Extended fuer / und 106 erlauben ihn, das sind 17.2% gesperrt, Woche 2026-W37. Nur Zahlen: keine Domain wird genannt.
Der woechentliche Index des KI Crawler Zugangs
Quellen
| Quelle | Typ | HTTP | Geprueft | Hinweis |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
Freie Daten
Eine Domain gegen alle Token pruefen
AEO Watch ist ein unabhaengiger, faktischer Monitor. Er ist mit keinem Crawler Hersteller verbunden, wird von keinem unterstuetzt und spricht fuer keinen. Jede Aussage ist eine Beobachtung mit dem Datum, an dem sie gemacht wurde, und dem Rohbeleg dahinter: eine Zeile aus der robots.txt, ein HTTP Statuscode, ein Header. Es gibt hier keine Noten, keine Bewertungen und keine Urteile, und nichts auf dieser Seite ist eine Beratung. Eine Website kann jederzeit widersprechen, und der Widerspruch wird automatisch und dauerhaft beachtet.