Claude-User: robots 토큰, 검증 방법, 허용과 차단
이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.
Claude-User 은 Anthropic 가 운영하는 AI 크롤러입니다. robots.txt 토큰은 Claude-User 이며 2026-09-06 에 가져온 공급업체 문서가 이 페이지 모든 서술의 출처입니다.
| robots 토큰 | Claude-User |
|---|---|
| 공급업체 | Anthropic |
| 목적 | user-initiated fetch |
| 문서화된 확인 방법 | 공개되지 않음 |
| 공급업체 문서 최종 확인 | 2026-09-06 |
| 읽은 도메인 중 / 를 차단하는 비율 | 3.1% of 128 |
| Last verified |
식별 정보
| robots 토큰 | Claude-User |
|---|---|
| 일치 문자열 | claude-user |
| 공급업체 | Anthropic |
| 목적 | user-initiated fetch |
| 문서 | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
| 문서화된 확인 방법 | 공개되지 않음 |
Vendor text: 'When individuals ask questions to Claude, it may access websites using a Claude-User agent.' Disabling it is documented to reduce visibility for user directed web search.
허용 또는 차단
User-agent: Claude-User Allow: /
User-agent: Claude-User Disallow: /
robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.
질문
Claude-User 은 robots.txt 를 따릅니까
https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 의 공급업체 문서는 Claude-User 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-06 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.
robots.txt 에서 Claude-User 을 허용하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-User Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.
robots.txt 에서 Claude-User 을 차단하려면 어떻게 합니까
호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-User Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.
요청이 정말 Claude-User 에서 왔는지 어떻게 확인합니까
Claude-User 에 대해 문서화된 확인 방법을 찾지 못했습니다. 공급업체는 우리가 가져올 수 있는 IP 대역 파일도 역방향 DNS 규약도 공개하지 않습니다. 그것이 없으면 User Agent 문자열은 출처의 증거가 되지 않습니다.
우리가 측정하는 것
robots.txt 를 읽은 128 개의 수집 도메인 가운데 4 개가 Claude-User 에 대해 / 를 차단하고 124 개가 허용하며 이는 3.1% 차단입니다. 2026-W37 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.
출처
| 출처 | 유형 | HTTP | 확인 | 비고 |
|---|---|---|---|---|
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | 10 occurrences of Claude-User in the body |
| https://darkvisitors.com/agents/claude-user | aggregator | 200 | 2026-09-06 | corroboration only; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
무료 데이터
AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.