GEO 최적화 첫 단계, AI 봇 크롤링 확인 방법: robots.txt·방화벽·지역 차단까지

우리 상품이 ChatGPT에서 추천이 안 돼요

얼마 전 IT 이커머스 기업에서 일하는 친구에게 연락을 받았습니다.

"30대 남성 명품지갑 추천"처럼 질문하면 우리 회사 상품이 ChatGPT에서 안 나오는데, 왜 그러는거야?

경쟁사 상품은 여러 개 나오는데, 유독 본인의 회사 제품이 추천되지 않는다는 이야기였습니다. 구글에서도 상품 페이지가 정상적으로 노출되고 있고, 페이지를 보기에 특별히 문제가 있는 것 같지도 않았습니다. 검색에서는 잘 보이는데, 왜 AI 답변에서는 보이지 않았을까요?

AI가 웹사이트를 읽을 수 있는가

AI가 특정 브랜드나 상품을 추천하지 않는 이유는 여러 가지입니다. 브랜드 인지도가 낮을 수도 있고, 관련 콘텐츠가 충분하지 않을 수도 있으며, AI가 검색하는 질문에서 우리 페이지가 후보로 올라오지 않았을 수도 있습니다.

그런데 이런 항목을 하나씩 점검하기 전에 가장 먼저 확인해야 할 것이 있습니다.

"애초에 AI가 우리 웹사이트를 읽을 수 있는가?"

AI 봇이 페이지에 접근하지 못한다면 콘텐츠를 더 쓰더라도 효과를 보지 못합니다. 비유하자면 도서관에 좋은 책을 꽂아두고 출입문을 잠가둔 것과 같은 것이죠. 그래서 이번 글에서는 GEO 최적화의 여러 요소 중에서도 가장 처음에 봐야 하는 AI 크롤링 허용에 대해 알아보고, 어떻게 확인해야 하는지 살펴보겠습니다.

핵심 요약

• AI 크롤링은 AI 봇이 웹사이트에 접속해 페이지를 읽는 과정입니다.

• AI 봇은 학습용, 검색·답변용, 사용자 요청용 등 역할이 서로 다릅니다.

• robots.txt에서 허용되어 있어도 방화벽이나 지역별 차단 때문에 실제 접근은 막힐 수 있습니다.

• 따라서 GEO를 시작하기 전에는 설정만 보지 말고, AI 봇이 실제로 사이트를 읽을 수 있는지 확인해야 합니다.

• 위커프 AI 봇 크롤링 검사 도구로 주요 AI·검색엔진 봇의 실제 접근 여부와 해외 지역별 차단 상태를 확인할 수 있습니다.

AI 크롤링이 뭔가요?

AI 봇이 웹사이트에 접속해 페이지의 내용을 읽고 가져가는 과정입니다. 구글 검색을 생각하면 조금 더 쉽습니다. 구글도 Googlebot이라는 크롤러가 웹사이트를 돌아다니며 페이지를 읽고 검색 결과에 반영합니다. ChatGPT, Claude, Gemini 같은 서비스 역시 웹의 정보를 활용하기 위해 여러 종류의 봇을 운영합니다.

이 봇은 역할이 구분되어 있는데요, AI 학습을 위해 정보를 수집하는 봇도 있고, 사용자가 질문했을 때 웹을 검색하기 위해 페이지를 찾는 봇도 있습니다. 또 광고를 목적으로 탐색하는 봇도 있을 만큼 다양한 봇이 존재합니다.

• OpenAI - GPTBot은 모델 학습용, OAI-SearchBot은 ChatGPT 검색·답변을 위한 봇, ChatGPT-User는 사용자의 요청에 따라 페이지를 직접 가져오는 봇입니다.

• Anthropic - ClaudeBot은 학습용, Claude-SearchBot은 Claude 검색·답변용, Claude-User는 사용자 요청에 따른 페이지 접근에 사용됩니다.

• Google·Gemini - Googlebot은 일반 검색 색인을 담당하고 이 색인은 AI Overview나 Gemini의 검색 결과에도 활용될 수 있습니다. Google-Agent 같은 봇은 사용자의 요청에 따라 실제 페이지를 가져오는 역할을 합니다.

대표적인 서비스만 봐도 한 회사가 목적별로 여러 종류의 봇을 따로 운영하고 있는 것을 알 수 있습니다. 이 차이가 중요한 이유는 이 중에 어떤 봇을 허용했느냐에 따라 GEO 최적화의 첫 단추가 달라지기 때문입니다.

AI 봇은 어디서 허용하고 차단할까요?

가장 먼저 확인할 곳은 robots.txt입니다. robots.txt는 웹사이트 운영자가 검색엔진이나 각종 크롤러에게 어떤 페이지를 읽어도 되고, 어떤 페이지는 읽지 말아야 하는지 알려주는 파일입니다. 보통 웹사이트 주소 뒤에 /robots.txt를 붙이면 확인할 수 있습니다.

예시)

• 웹사이트 주소 : https://weekerp.com

• 웹사이트 로봇 지침파일 주소 : https://weekerp.com/robots.txt

예를 들어 아래처럼 설정되어 있다면, GPTBot에게 사이트 전체를 크롤링하지 말라는 뜻입니다.

User-agent: GPTBot
Disallow: /

그런데 여기서 한 가지 문제가 있습니다. robots.txt가 열려 있다고 해서 실제로 AI 봇이 사이트에 들어올 수 있다는 뜻은 아닙니다. robots.txt는 어디까지나 봇에게 전달하는 접근 규칙이고, 웹사이트 방화벽에서 별도로 해당 요청을 차단하고 있다면, robots.txt에는 아무 문제가 없어 보여도 AI 봇은 실제 페이지를 읽지 못할 수 있습니다.

차단 사례 1) robots.txt에서 허용해도 막히는 사례, 방화벽 문제

robots.txt가 봇에게 보여주는 출입 안내문이라면, 웹사이트의 방화벽은 실제 입구를 지키는 경비원에 가깝습니다. 예를 들어 robots.txt에서는 OAI-SearchBot의 접근을 허용해도, 웹사이트의 보안 설정에서 해당 요청을 비정상적인 트래픽으로 판단하면 실제 접속은 차단될 수 있습니다.

이 경우 robots.txt만 보고 "AI 봇 접근이 허용되어 있다"고 생각하지만, 실제 AI는 페이지를 읽지 못하는 상황이 만들어집니다. 이런 문제는 발견하기가 꽤 어렵습니다. 일반 사용자는 사이트에 정상적으로 접속할 수 있고, 구글 검색에도 페이지가 잘 노출될 수 있기 때문입니다. 그래서 robots.txt만 보는 것이 아니라 AI 봇이 실제로 페이지에 접속할 수 있는지, 방화벽에서 차단하지는 않는지를 함께 확인해야 합니다.

차단 사례 2) 접속하는 지역에 따라서도 결과가 달라질 수 있습니다.

실제로 앞에서 이야기한 친구 회사도 이 경우였습니다. 국내에서는 사이트가 정상적으로 열렸지만, 해외에서 들어오는 요청은 차단하고 있었습니다. 문제는 AI 봇이 반드시 한국에서 접속하는 것은 아니라는 점입니다. 우리가 한국에서 ChatGPT를 사용하더라도, 실제 페이지를 읽는 요청은 해외에서 들어올 수 있습니다.

그래서 이런 상황이 생깁니다.

한국에서 접속 → 정상
해외에서 접속 → 차단
해외에서 접근하는 AI 봇 → 차단

그러면 어떻게 확인할 수 있을까요?

robots.txt, 방화벽, 지역별 차단까지 하나씩 직접 확인하려면 꽤 번거롭습니다. 그래서 위커프에서 AI 봇 크롤링 검사 도구를 만들었습니다.

이 도구는 AI·검색엔진 봇 83종의 User-Agent로 실제 요청을 보내, 우리 웹사이트에 정상적으로 접근할 수 있는지 확인하는 무료 도구입니다. 동시에 robots.txt에서 각 봇의 접근이 허용되어 있는지도 함께 확인합니다. 웹사이트 URL만 입력하면 바로 검사할 수 있습니다.

AI 봇 크롤링 검사하기

또한 미국·일본·유럽 등 해외 지역에서도 직접 요청을 보내기 때문에, 국내에서는 정상적으로 열리지만 해외에서만 차단되는 경우까지 확인할 수 있습니다.

마치며

AI 크롤링 허용 설정은 GEO의 첫 번째 단추입니다. 물론 AI 봇이 우리 사이트에 정상적으로 접근한다고 해서 곧바로 브랜드가 추천되거나 페이지가 인용되는 것은 아닙니다. 실제 인용에는 콘텐츠의 품질, 질문과의 관련성, 검색 노출, 브랜드 권위처럼 여러 요소가 함께 작용합니다.

하지만 그 모든 과정은 AI가 페이지를 읽을 수 있다는 전제에서 시작합니다. robots.txt에서는 허용되어 있어도 방화벽에서 막힐 수 있고, 국내에서는 정상적으로 열리지만 해외에서 들어오는 AI 봇의 요청만 차단될 수도 있습니다. 겉으로 보기에는 아무 문제가 없는 사이트에서도 이런 일이 생길 수 있다는 점이 이번 글에서 가장 중요하게 봐야 할 부분입니다.

읽힐 수 있어야, 인용될 가능성도 생깁니다. 새로운 최적화 작업을 하기 전에 어떤 AI 봇이 우리 사이트에 접근할 수 있는지를 확인해보세요.

자주 묻는 질문

Q. AI 크롤링이 뭔가요?
AI 봇이 웹사이트에 접속해 페이지의 내용을 읽고 가져가는 과정입니다. ChatGPT, Claude, Gemini 등은 목적에 따라 서로 다른 봇을 사용합니다.

Q. robots.txt에서 AI 봇을 허용하면 실제로도 접근할 수 있나요?
반드시 그렇지는 않습니다. robots.txt는 접근 규칙을 알리는 파일이고, 실제 요청은 웹사이트 방화벽이나 다른 보안 설정에서 차단될 수 있습니다.

Q. GPTBot을 차단하면 ChatGPT 검색에서도 안 나오나요?
꼭 그렇지는 않습니다. GPTBot은 학습용이고, ChatGPT 검색에는 OAI-SearchBot 등 별도의 봇이 사용됩니다. 학습용 봇과 검색·답변용 봇은 구분해서 봐야 합니다.

Q. 한국에서는 잘 열리는데 AI 봇만 차단될 수도 있나요?
가능합니다. 해외 접속을 제한하고 있다면 국내 사용자에게는 정상적으로 보이지만, 해외 인프라에서 접근하는 AI 봇은 차단될 수 있습니다.

Q. AI 봇의 접근 가능 여부는 어떻게 확인하나요?
robots.txt 설정과 실제 요청 결과를 함께 확인해야 합니다. 위커프 AI 봇 크롤링 검사 도구를 사용하면 주요 AI·검색엔진 봇의 접근 여부와 지역별 차단 상태를 한 번에 확인할 수 있습니다.