ClaudeBot: robots 토큰, 검증 방법, 허용과 차단

이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.

All 21 documented crawlers

식별 정보

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

허용 또는 차단

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.

Build a robots.txt with ClaudeBot and every other documented token

질문

ClaudeBot 은 robots.txt 를 따릅니까

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 의 공급업체 문서는 ClaudeBot 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-17 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.

robots.txt 에서 ClaudeBot 을 허용하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: ClaudeBot Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.

robots.txt 에서 ClaudeBot 을 차단하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: ClaudeBot Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.

요청이 정말 ClaudeBot 에서 왔는지 어떻게 확인합니까

공급업체는 이 크롤러가 사용하는 IP 대역을 https://claude.com/crawling/bots.json 에 공개합니다. 요청의 주소를 그 파일과 대조하십시오. User Agent 문자열만으로는 아무것도 증명하지 못합니다. 누구나 보낼 수 있기 때문입니다.

우리가 측정하는 것

robots.txt 를 읽은 12976 개의 수집 도메인 가운데 1649 개가 ClaudeBot 에 대해 / 를 차단하고 11327 개가 허용하며 이는 12.7% 차단입니다. 2026-W43 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.

주간 AI 크롤러 접근 지표

출처

무료 데이터

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

모든 토큰으로 도메인 확인하기

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.