Google-Extended: robots 토큰, 검증 방법, 허용과 차단
이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.
Google-Extended 은 Google 가 운영하는 AI 크롤러입니다. robots.txt 토큰은 Google-Extended 이며 2026-09-06 에 가져온 공급업체 문서가 이 페이지 모든 서술의 출처입니다.
| robots 토큰 | Google-Extended |
|---|---|
| 공급업체 | |
| 목적 | training corpus, grounding |
| 문서화된 확인 방법 | 공개된 IP 대역 |
| 공급업체 문서 최종 확인 | 2026-09-06 |
| 읽은 도메인 중 / 를 차단하는 비율 | 17.2% of 128 |
| Last verified |
식별 정보
| robots 토큰 | Google-Extended |
|---|---|
| 일치 문자열 | google-extended |
| 공급업체 | |
| 목적 | training corpus, grounding |
| 문서 | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| 문서화된 확인 방법 | 공개된 IP 대역: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
허용 또는 차단
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.
질문
Google-Extended 은 robots.txt 를 따릅니까
https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers 의 공급업체 문서는 Google-Extended 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-06 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.
robots.txt 에서 Google-Extended 을 허용하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Google-Extended Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.
robots.txt 에서 Google-Extended 을 차단하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Google-Extended Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.
요청이 정말 Google-Extended 에서 왔는지 어떻게 확인합니까
공급업체는 이 크롤러가 사용하는 IP 대역을 https://developers.google.com/static/search/apis/ipranges/special-crawlers.json 에 공개합니다. 요청의 주소를 그 파일과 대조하십시오. User Agent 문자열만으로는 아무것도 증명하지 못합니다. 누구나 보낼 수 있기 때문입니다.
우리가 측정하는 것
robots.txt 를 읽은 128 개의 수집 도메인 가운데 22 개가 Google-Extended 에 대해 / 를 차단하고 106 개가 허용하며 이는 17.2% 차단입니다. 2026-W37 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.
출처
| 출처 | 유형 | HTTP | 확인 | 비고 |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
무료 데이터
AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.