AI 크롤러 차단 확인 — robots.txt 점검기
한눈에 보기
홈페이지 주소를 입력하세요
robots.txt와 관련 파일을 요청 시점 기준으로 확인합니다.
왜 AI 크롤러 접근을 확인해야 하나요?
AI 답변에 페이지가 출처로 인용되려면 검색에 사용하는 AI 봇이 먼저 그 페이지를 읽을 수 있어야 합니다. 콘텐츠가 충분해도 robots.txt나 보안 설정이 크롤러를 막으면 수집 단계에서 멈춥니다. 실제 진단에서도 봇 차단은 가장 자주 발견되는 기술 문제 중 하나입니다.
검색용 봇과 학습용 봇은 다릅니다
검색 노출을 점검할 때는 Googlebot(AI Overview 포함), OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot의 접근 여부가 중요합니다. 이 봇들은 검색 결과나 사용자의 질문에 답할 정보를 찾는 데 쓰입니다.
GPTBot, ClaudeBot, Google-Extended는 주로 모델 학습이나 AI 기능의 데이터 사용 제어와 관련된 봇입니다. 이들을 허용할지는 사이트 운영자의 선택이며, 차단하더라도 검색 결과나 AI 답변 노출 여부와는 별개로 봐야 합니다.
자주 묻는 질문
robots.txt가 없으면 어떻게 되나요?
robots.txt가 없으면 기본적으로 모든 크롤러의 접근을 허용한 것으로 봅니다. 다만 CDN이나 보안 서비스가 별도로 봇 요청을 막고 있을 수 있어 홈페이지 응답 상태도 함께 확인해야 합니다.
차단으로 나오면 어떻게 고치나요?
robots.txt에서 해당 봇에 적용된 Disallow 규칙을 확인해 필요한 경로를 허용하세요. 규칙을 바꿨는데도 접근되지 않으면 방화벽, CDN, 봇 관리 설정을 함께 확인해야 합니다.
여기서 통과하면 AI에 나오나요?
아닙니다. 크롤러 접근은 검색과 AI 답변에 노출되기 위한 전제조건 중 하나입니다. 실제 검색·AI 노출 측정은 15만 원 진단에서 진행합니다.
접근이 되는 것과 실제로 인용되는 것은 다릅니다
무료 L0에서는 홈페이지 구조·기술 준비 상태를 확인하고, 필요하면 PSI 성능 신호를 더합니다. 실제 검색·AI 노출 측정은 15만 원 진단에서 진행합니다.
무료 L0 점검 시작하기결과는 요청 시점의 robots.txt와 HTTP 응답을 기준으로 하며, 검색 또는 AI 답변 노출을 보장하지 않습니다.