ClaudeBot: robots 토큰, 검증 방법, 허용과 차단
이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.
ClaudeBot 은 Anthropic 가 운영하는 AI 크롤러입니다. robots.txt 토큰은 ClaudeBot 이며 2026-09-06 에 가져온 공급업체 문서가 이 페이지 모든 서술의 출처입니다.
| robots 토큰 | ClaudeBot |
|---|---|
| 공급업체 | Anthropic |
| 목적 | training corpus |
| 문서화된 확인 방법 | 공개되지 않음 |
| 공급업체 문서 최종 확인 | 2026-09-06 |
| 읽은 도메인 중 / 를 차단하는 비율 | 17.2% of 128 |
| Last verified |
식별 정보
| robots 토큰 | ClaudeBot |
|---|---|
| 일치 문자열 | claudebot |
| 공급업체 | Anthropic |
| 목적 | training corpus |
| 문서 | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
| 문서화된 확인 방법 | 공개되지 않음 |
Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' No published IP ranges and no reverse DNS convention were found on 2026-09-06, so a hit carrying this token is recorded as unverifiable, never as verified (same rule as app/botverify.py).
허용 또는 차단
User-agent: ClaudeBot Allow: /
User-agent: ClaudeBot Disallow: /
robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.
질문
ClaudeBot 은 robots.txt 를 따릅니까
https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 의 공급업체 문서는 ClaudeBot 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-06 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.
robots.txt 에서 ClaudeBot 을 허용하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: ClaudeBot Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.
robots.txt 에서 ClaudeBot 을 차단하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: ClaudeBot Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.
요청이 정말 ClaudeBot 에서 왔는지 어떻게 확인합니까
ClaudeBot 에 대해 문서화된 확인 방법을 찾지 못했습니다. 공급업체는 우리가 가져올 수 있는 IP 대역 파일도 역방향 DNS 규약도 공개하지 않습니다. 그것이 없으면 User Agent 문자열은 출처의 증거가 되지 않습니다.
우리가 측정하는 것
robots.txt 를 읽은 128 개의 수집 도메인 가운데 22 개가 ClaudeBot 에 대해 / 를 차단하고 106 개가 허용하며 이는 17.2% 차단입니다. 2026-W37 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.
출처
| 출처 | 유형 | HTTP | 확인 | 비고 |
|---|---|---|---|---|
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | URL taken from the support.claude.com sitemap, not guessed; 12 occurrences of ClaudeBot and the exact snippet 'User-agent: ClaudeBot Disallow: /' in the body |
| https://darkvisitors.com/agents/claudebot | aggregator | 200 | 2026-09-06 | third-party aggregator, redirects to knownagents.com; corroboration only; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
무료 데이터
AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.