AI 봇 크롤링 검사

robots.txt에서 각 봇의 접근 허용 여부를 확인하고, AI 봇처럼 실제로 페이지에 접속해 차단 여부를 검사합니다.

HTTP 상태 코드 200으로 판단합니다. 각 봇의 User-Agent로 요청을 보냈을 때 200이 오면 접근, 403·429·503 등 그 외 응답이면 차단으로 봅니다.

robots.txt로도 판단할 수 없고 실측 대상도 아닌 봇입니다. robots.txt를 아예 무시하는 봇, 자기 전용 토큰만 인식하는 봇, 준수 여부에 논란이 있는 봇이 여기 해당합니다. 이런 봇은 robots.txt에 뭐라고 쓰든 결과가 달라지지 않기 때문에 추측으로 '접근'이라고 표시하지 않고 판정 불가로 남깁니다. 링크 미리보기와 인프라 계열에 해당합니다.

WAF와 CDN의 차단 규칙은 요청 IP의 지역을 기준으로 걸리는 경우가 많기 때문입니다.

robots.txt는 요청을 물리적으로 막는 장치가 아니라 지켜달라는 요청입니다. 이를 지키지 않는 봇은 막아도 그대로 읽어갑니다. 표에서 robots 열이 '무시'로 표시된 봇이 여기 해당합니다. 실제로 막으려면 WAF나 서버 단에서 차단해야 합니다.

그건 정책 판단의 영역이고, 이 도구는 옳고 그름을 판정하지 않습니다. 다만 분류를 나눠 보여주는 이유가 있습니다. 학습 봇(ai_training)을 막는 것과 답변 봇(ai_answer)을 막는 것은 결과가 완전히 다릅니다. 전자는 학습 데이터에서 빠지는 것이고, 후자는 AI 답변에서 우리 사이트가 출처로 인용될 기회를 잃는 것입니다. 학습만 막으려다 답변 봇까지 함께 막는 설정이 실제로 흔합니다.

먼저 어떤 분류가 막혔는지 보세요. AI 답변과 검색 분류가 막혔다면 우선순위가 높습니다. 그다음 차단 수단을 보세요. robots.txt 때문이면 robots.txt를 고치면 되고, WAF 지역 규칙이나 봇 규칙 때문이면 해당 봇의 User-Agent나 IP 대역을 허용 목록에 넣어야 합니다.

위커프가 관리하는 봇 카탈로그를 사용합니다. AI 답변·사용자 요청·학습·검색·링크 미리보기·광고·도구·인프라·기타로 분류해 두었고, 새 봇이 등장하면 카탈로그에 반영합니다. 전체 목록은 공개되어 있습니다: https://cdn.weekerp.com/weekerp-files/file/config/bot.json (마지막 수정일자 2026-08-13) 결과 화면에도 카탈로그 버전과 검사한 봇 수가 함께 표시됩니다.

입력한 URL의 공개 응답을 확인할 뿐이며, 결과를 보기 위해 이메일이나 로그인을 요구하지 않습니다.