Googlebot: robots 토큰, 검증 방법, 허용과 차단
이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.
Googlebot 은 Google 가 운영하는 AI 크롤러입니다. robots.txt 토큰은 Googlebot 이며 2026-09-06 에 가져온 공급업체 문서가 이 페이지 모든 서술의 출처입니다.
| robots 토큰 | Googlebot |
|---|---|
| 공급업체 | |
| 목적 | search index |
| 문서화된 확인 방법 | 공개된 IP 대역과 역방향 DNS |
| 공급업체 문서 최종 확인 | 2026-09-06 |
| 읽은 도메인 중 / 를 차단하는 비율 | 0.8% of 128 |
| Last verified |
식별 정보
| robots 토큰 | Googlebot |
|---|---|
| 일치 문자열 | googlebot |
| 공급업체 | |
| 목적 | search index |
| 문서 | https://developers.google.com/search/docs/crawling-indexing/googlebot |
| 문서화된 확인 방법 | 공개된 IP 대역과 역방향 DNS: https://developers.google.com/static/search/apis/ipranges/googlebot.json (.googlebot.com, .google.com) |
Included because AI answers frequently ground on the Google index. The reverse DNS suffixes are the ones app/botverify.py already forward confirms.
허용 또는 차단
User-agent: Googlebot Allow: /
User-agent: Googlebot Disallow: /
robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.
질문
Googlebot 은 robots.txt 를 따릅니까
https://developers.google.com/search/docs/crawling-indexing/googlebot 의 공급업체 문서는 Googlebot 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-06 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.
robots.txt 에서 Googlebot 을 허용하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Googlebot Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.
robots.txt 에서 Googlebot 을 차단하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Googlebot Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.
요청이 정말 Googlebot 에서 왔는지 어떻게 확인합니까
공급업체는 IP 대역 파일 (https://developers.google.com/static/search/apis/ipranges/googlebot.json) 과 역방향 DNS 규약을 모두 공개합니다. 두 확인 방법 모두 문서화되어 있으며 요청을 증명하는 것은 주소이지 User Agent 문자열이 아닙니다.
우리가 측정하는 것
robots.txt 를 읽은 128 개의 수집 도메인 가운데 1 개가 Googlebot 에 대해 / 를 차단하고 127 개가 허용하며 이는 0.8% 차단입니다. 2026-W37 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.
출처
| 출처 | 유형 | HTTP | 확인 | 비고 |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/googlebot | vendor | 200 | 2026-09-06 | 35 occurrences of Googlebot in the common crawlers page fetched the same day |
| https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers | vendor | 200 | 2026-09-06 | crawler overview index page |
무료 데이터
AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.