Claude-SearchBot: robots 토큰, 검증 방법, 허용과 차단

이 페이지는 기계 번역입니다. 수치와 증거는 저장된 관측 결과를 그대로 표시합니다.

All 21 documented crawlers

식별 정보

Third robot documented by the vendor: 'Claude-SearchBot navigates the web to improve search result quality for users.' It shares the one published IP range file with the other two Anthropic robots, and it was added to app/main.AI_CRAWLERS on 2026-09-17, so hits carrying it are bucketed and verified like theirs instead of going uncounted.

허용 또는 차단

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-SearchBot
Disallow: /

robots.txt 규칙은 예의 바른 크롤러가 따르는 요청입니다. 접근 제어가 아니며 이 페이지는 무엇을 선택하라고 말하지 않습니다.

Build a robots.txt with Claude-SearchBot and every other documented token

질문

Claude-SearchBot 은 robots.txt 를 따릅니까

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 의 공급업체 문서는 Claude-SearchBot 이 robots.txt 를 존중한다고 밝히고 있습니다. 우리는 그 페이지를 가져왔고 2026-09-17 에 확인했습니다. 이는 공급업체가 문서화한 내용의 기록이며 개별 요청이 실제로 한 일이 아닙니다.

robots.txt 에서 Claude-SearchBot 을 허용하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-SearchBot Allow: /. RFC 9309 에 따라 토큰은 User Agent 의 부분 문자열로 대소문자를 구분하지 않고 일치하며 가장 길게 일치하는 규칙이 우선합니다.

robots.txt 에서 Claude-SearchBot 을 차단하려면 어떻게 합니까

호스트 최상위에 있는 robots.txt 에 다음 그룹을 추가하십시오: User-agent: Claude-SearchBot Disallow: /. robots.txt 규칙은 예의 바른 크롤러가 따르는 요청이며 접근 제어가 아닙니다.

요청이 정말 Claude-SearchBot 에서 왔는지 어떻게 확인합니까

공급업체는 이 크롤러가 사용하는 IP 대역을 https://claude.com/crawling/bots.json 에 공개합니다. 요청의 주소를 그 파일과 대조하십시오. User Agent 문자열만으로는 아무것도 증명하지 못합니다. 누구나 보낼 수 있기 때문입니다.

우리가 측정하는 것

robots.txt 를 읽은 12976 개의 수집 도메인 가운데 721 개가 Claude-SearchBot 에 대해 / 를 차단하고 12255 개가 허용하며 이는 5.6% 차단입니다. 2026-W43 주. 집계만 제공하며 도메인 이름은 밝히지 않습니다.

주간 AI 크롤러 접근 지표

출처

무료 데이터

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

모든 토큰으로 도메인 확인하기

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch 는 독립적이고 사실에 근거한 관찰 서비스입니다. 어떤 크롤러 공급업체와도 제휴하지 않으며 어느 곳의 지지도 받지 않고 누구를 대변하지도 않습니다. 모든 서술은 관측이며 관측한 날짜와 그 근거가 되는 원자료를 함께 제시합니다. robots.txt 의 한 줄, HTTP 상태 코드, 헤더 같은 것입니다. 여기에는 점수도 등급도 판정도 없으며 이 페이지의 어떤 내용도 조언이 아닙니다. 사이트는 언제든 수집 거부를 요청할 수 있고 그 요청은 자동으로 영구히 지켜집니다.