Claude-User: robots 토큰, 검증 방법, 허용과 차단

이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.

All 21 documented crawlers

식별 정보

Vendor text: 'When individuals ask questions to Claude, it may access websites using a Claude-User agent.' Disabling it is documented to reduce visibility for user directed web search. The three documented Anthropic robots share one published IP range file, which is what verifies a hit carrying this token. Read again on 2026-09-17.

허용 또는 차단

User-agent: Claude-User
Allow: /

User-agent: Claude-User
Disallow: /

robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.

Build a robots.txt with Claude-User and every other documented token

질문

Claude-User 은 robots.txt 를 따릅니까

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 의 공급업체 문서는 Claude-User 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-17 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.

robots.txt 에서 Claude-User 을 허용하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-User Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.

robots.txt 에서 Claude-User 을 차단하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-User Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.

요청이 정말 Claude-User 에서 왔는지 어떻게 확인합니까

공급업체는 이 크롤러가 사용하는 IP 대역을 https://claude.com/crawling/bots.json 에 공개합니다. 요청의 주소를 그 파일과 대조하십시오. User Agent 문자열만으로는 아무것도 증명하지 못합니다. 누구나 보낼 수 있기 때문입니다.

우리가 측정하는 것

robots.txt 를 읽은 12976 개의 수집 도메인 가운데 739 개가 Claude-User 에 대해 / 를 차단하고 12237 개가 허용하며 이는 5.7% 차단입니다. 2026-W43 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.

주간 AI 크롤러 접근 지표

출처

무료 데이터

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

모든 토큰으로 도메인 확인하기

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.