Google-Extended: robots-token, verificatie, toestaan of blokkeren
Deze pagina is machinaal vertaald. De cijfers en het bewijs komen ongewijzigd uit de opgeslagen waarnemingen.
Google-Extended is een AI crawler die wordt beheerd door Google. Het robots.txt token is Google-Extended, en de documentatie van de leverancier die wij op 2026-09-06 hebben opgehaald is de bron van elke uitspraak op deze pagina.
| Robots token | Google-Extended |
|---|---|
| Leverancier | |
| Doel | training corpus, grounding |
| Gedocumenteerde controle | gepubliceerde IP reeksen |
| Documentatie van de leverancier voor het laatst gecontroleerd | 2026-09-06 |
| Aandeel van de gelezen domeinen dat het blokkeert voor / | 17.2% of 128 |
| Last verified |
Identiteit
| Robots token | Google-Extended |
|---|---|
| Vergeleken als | google-extended |
| Leverancier | |
| Doel | training corpus, grounding |
| Documentatie | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| Gedocumenteerde controle | gepubliceerde IP reeksen: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
Toestaan of blokkeren
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt. Het is geen toegangscontrole, en deze pagina zegt niemand wat te kiezen.
Vragen
Volgt Google-Extended robots.txt?
De documentatie van de leverancier op https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers stelt dat Google-Extended robots.txt respecteert. Wij hebben die pagina opgehaald en zij antwoordde onze controle op 2026-09-06. Dit legt vast wat de leverancier documenteert, niet wat een afzonderlijk verzoek deed.
Hoe sta ik Google-Extended toe in robots.txt?
Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: Google-Extended Allow: /. Volgens RFC 9309 wordt het token hoofdletterongevoelig vergeleken als deel van de user agent, en de langste passende regel wint.
Hoe blokkeer ik Google-Extended in robots.txt?
Voeg deze groep toe aan de robots.txt in de hoofdmap van de host: User-agent: Google-Extended Disallow: /. Een regel in robots.txt is een verzoek dat een net gedragende crawler inwilligt; het is geen toegangscontrole.
Hoe controleer ik of een verzoek echt van Google-Extended kwam?
De leverancier publiceert op https://developers.google.com/static/search/apis/ipranges/special-crawlers.json de IP reeksen waaruit deze crawler ophaalt. Vergelijk het adres van het verzoek met dat bestand. Een user agent tekst op zichzelf bewijst niets, want iedereen kan die versturen.
Wat wij meten
Van de 128 opgenomen domeinen waarvan wij robots.txt hebben gelezen, blokkeren 22 Google-Extended voor / en staan 106 het toe, dat is 17.2% geblokkeerd, week 2026-W37. Alleen aantallen: geen enkel domein wordt genoemd.
De wekelijkse index van AI crawler toegang
Bronnen
| Bron | Type | HTTP | Gecontroleerd | Opmerking |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
Vrije data
Controleer een domein tegen alle tokens
AEO Watch is een onafhankelijke, feitelijke monitor. Het is niet verbonden met een leverancier van crawlers, wordt door niemand onderschreven en spreekt namens niemand. Elke uitspraak is een waarneming met de datum waarop zij is gedaan en het ruwe bewijs erachter: een regel uit robots.txt, een HTTP statuscode, een header. Er zijn hier geen scores, geen cijfers en geen oordelen, en niets op deze pagina is advies. Een site kan zich op elk moment afmelden en die afmelding wordt automatisch en blijvend gerespecteerd.