GEO 성과 측정, 봇 크롤링을 봐야하는 이유

GEO 성과 측정, 왜 AI 봇 크롤링을 봐야 할까요?

GEO(Generative Engine Optimization)를 시작하면 가장 먼저 궁금해지는 것이 있습니다.

“ChatGPT나 Gemini가 우리 브랜드를 얼마나 언급하고 있을까?”

그래서 최근에는 ChatGPT, Gemini, Perplexity 등의 답변에서 우리 브랜드나 웹사이트가 얼마나 등장하는지를 측정하는 도구도 많아지고 있습니다. 이를 흔히 AI Visibility, 또는 Share of Voice라고 부릅니다.

예를 들어,

“SEO 대행사를 추천해줘.”

라는 질문을 AI에게 100번 했을 때 우리 회사가 10번 등장했다면, AI 답변 점유율을 10%라고 볼 수 있습니다.

하지만 SoV만 가지고 GEO 성과를 판단하기에는 한 가지 큰 문제가 있습니다. 우리 브랜드가 왜 나오지 않았는지는 알 수 없다는 점입니다.

핵심요약

• GEO 성과를 볼 때는 AI가 우리 브랜드를 인용했는지뿐 아니라, 우리 페이지를 실제로 읽었는지도 함께 확인해야 합니다.

• AI 봇의 접근은 서버 로그에서 확인할 수 있으며, RC·PoR·CoR로 읽은 횟수와 범위를 측정할 수 있습니다.

• AI가 페이지를 거의 읽지 않는다면 접근·크롤링 문제, 읽고 있는데도 인용되지 않는다면 콘텐츠 문제일 가능성이 높습니다.

• 즉, 봇 크롤링은 SoV를 대체하는 지표가 아니라 상호보완적 지표이며, SoV가 낮은 이유를 해석하기 위한 선행 지표로도 활용할 수 있습니다.

• GEO 성과 측정은 결국 읽힘 → 인용 → 방문 순서로 보는 것이 좋습니다.

SoV는 결과를 보여주지만, 원인은 보여주지 않습니다

SoV는 전월 대비 증가했는지, 또는 같은 조건에서 경쟁사보다 얼마나 많이 등장하는지를 보는데엔 유용하나, 개선 지점을 찾지 못하기에 SoV는 결과 지표에 해당합니다.

예시를 들어보겠습니다.

• AI가 우리 페이지를 아예 읽지 못했음

• 페이지를 읽었지만 답변에 활용하지 않았음

• 읽고 활용했지만 경쟁사의 정보가 더 많이 선택됨

3개의 사례는 모두 SoV가 낮은 이유인데, 세 경우의 해결 방법은 완전히 다릅니다. 첫번째는 방화벽등을 개선하거나, 기존 SEO를 대응하여 발견가능성을 높여야하고, 두번째는 밀도 있는 정보 구성 등이 진단 내용으로 나올 수 있습니다. 이렇게 SoV가 낮은 하나의 현상으로도 여러 진단 내용이 나올 수 있게 됩니다.

즉, “SoV의 높고 낮음"은 진단이 아닌, 하나의 현상을 의미합니다.

봇 크롤링 해석, 실제로 무엇을 읽었는지 봅니다

그러면 무엇을 봐야할까요? 가장 정확한 것은 AI가 내 웹사이트에 접근했는가, 즉 봇 크롤링을 함께 봐야합니다. AI가 우리 사이트의 어떤 페이지를 읽어갔는지는 서버 로그에 기록됩니다. GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot 같은 봇이 어떤 페이지에 언제 접근했는지를 확인할 수 있습니다.

특히 이 글에서는, 봇 크롤링을 GEO 지표로 활용하는 방법을 나타내고 있는데요, 이를 이용하면 다음 세 가지 지표를 확인할 수 있습니다.

조금 더 쉽게 표현하면,

• RC(Read Count) - 지금 읽어가고 있는가?

• PoR(Pages of Read) - 어디까지 읽고 있는가?

• CoR(Coverage of Read) - 사이트 전체에서 얼마나 읽히고 있는가?

라고 볼 수 있습니다.

특히 RC는 기존 웹 분석의 페이지뷰(PV)와 가장 비슷한 지표입니다. 보는 주체가 사람에서 AI로 옮겨간 것 뿐이지요. 새로운 콘텐츠를 발행하거나 사이트 구조를 개선한 뒤 AI 봇의 접근량이 증가했는지 확인해보면 막힌 지점 중 여러 이유를 소거할 수 있습니다.

페이지별, 봇 별로 나누어 보면 더 정확합니다.

여기에 PoR, CoR 등 지표를 더하게 되면 페이지별·봇별 데이터를 나누어 볼 수 있습니다. 어떤 페이지가 AI 접근을 만들고 있고, 어떤 페이지는 거의 읽히지 않는지도 확인할 수 있습니다.

• 지표명칭

  • PoR (Pages of Read) - 읽힌 페이지 수 (단위 : 개)

  • CoR (Coverage of Read) - 읽힘 커버리지 (단위 %)

  • RC (Read Count) - AI 봇 유효 요청 수 (단위 회)

• 산식

  • PoR = 기간 내 AI 봇이 1회 이상 접근한 고유 페이지 수

  • CoR = PoR / 인덱스 대상 페이지 수 × 100

  • 읽힘 수 = 기간 내 AI 봇 유효 요청 수 (200·304 응답만 집계)

많이 읽히는지가 아니라, 어디에서 막혔는지를 확인

앞서 사례에서는 봇 크롤링 왜 봐야하는지, 어떤 것을 보는지를 확인했는데요, 이를 통해 실제 문제가 발생한 위치까지를 찾을 수 있도록 사례를 가져왔습니다. SoV와 함께 살펴보면, 더욱 정확한데요, 하나의 예시를 살펴보겠습니다.

예를 들어 AI 봇이 특정 페이지를 계속 읽는데도 우리 브랜드가 답변에 거의 나오지 않는다고 해보겠습니다. 이 경우 테크니컬 SEO항목이 잘못됐거나, robots.txt나 sitemap부터 다시 만들 필요는 없습니다. AI는 이미 페이지를 읽고 있기 때문입니다.

이때는 콘텐츠 구조, 질문과의 관련성, 정보의 명확성, 본문의 밀도 등 콘텐츠 요소를 살펴보는 편이 맞습니다.

반대로 콘텐츠를 열심히 발행하고 있는데 AI 봇이 페이지에 거의 접근하지 않는다면 어떨까요? 콘텐츠를 더 쓰기 전에 AI가 왜 해당 페이지에 접근하지 못하고 있는지부터 살펴봐야 합니다. 이렇게 보면 같은 “SoV가 낮다”는 결과에서도 전혀 다른 처방이 나옵니다. 읽힘과 인용을 교차해서 보는 이유가 여기에 있습니다

따라서 봇 크롤링은 SoV를 대체하는 지표라기보다, SoV를 해석하기 위한 선행 지표에 가깝습니다.

GEO 성과 측정은 ‘읽힘’부터 시작합니다

AI 검색에서 우리 브랜드가 잘 나오지 않을 때 바로 콘텐츠를 수정하거나 새로운 글을 더 작성하기보다, 먼저 AI가 기존 콘텐츠를 실제로 읽고 있는지 확인하는 것이 좋습니다.

정리하면 순서는 간단합니다.

AI가 읽었는가 → 읽었다면 인용했는가 → 인용됐다면 실제 방문으로 이어졌는가

이 중 봇 크롤링은 가장 앞단인 ‘읽힘’을 확인하는 지표입니다.

특히 RC, PoR, CoR을 함께 보면 단순히 AI 봇이 들어왔다는 사실뿐 아니라,

• 최근 AI 봇 접근량이 늘고 있는지

• 특정 콘텐츠만 반복해서 읽히고 있는지

• 새롭게 작성한 콘텐츠까지 읽힘 범위가 넓어지고 있는지

• 전체 사이트에서 읽히지 않는 영역은 어디인지

까지 확인할 수 있습니다.

결론: AI에 안 나온다면, 먼저 읽었는지 확인하세요

AI 답변에 우리 브랜드가 등장하지 않는 것은 하나의 결과입니다. 하지만 그 이유는 서로 다를 수 있습니다. AI가 페이지에 접근하지 못했다면 기술적인 문제를 살펴봐야 하고, 이미 충분히 읽고 있는데도 인용되지 않는다면 콘텐츠를 살펴봐야 합니다.

그래서 GEO 성과를 측정할 때는 SoV만 확인하기보다 AI 봇이 우리 사이트의 어떤 페이지를 실제로 읽고 있는지 함께 확인하는 것이 중요합니다. RC(Read Count)로 AI 봇 접근량을 확인하고, PoR과 CoR을 통해 읽힘 범위를 넓혀가는 것부터 시작하시길 권장드립니다.

AI 봇이 어떤 페이지를 얼마나 읽고 있는지 간편하게 확인하고 싶다면, 위커프 GEO 애널리틱스를 참고해보세요.

자주 묻는 질문

Q. AI 봇이 우리 웹사이트를 읽었는지는 어떻게 확인하나요?

웹서버나 CDN의 접근 로그를 통해 확인할 수 있습니다. AI 봇별로 어떤 페이지에 언제 접근했는지 구분해 볼 수 있습니다.

Q. AI 봇이 많이 읽으면 AI 답변에도 많이 인용되나요?

반드시 그렇지는 않습니다. 읽힘은 인용의 앞 단계입니다. 충분히 읽히는데도 인용되지 않는다면 콘텐츠 구조나 정보의 명확성을 살펴봐야 합니다.

Q. RC, PoR, CoR은 각각 무엇인가요?

RC는 읽은 횟수, PoR은 읽힌 페이지 수, CoR은 전체 페이지 중 읽힌 비율을 의미합니다.

Q. AI 봇이 페이지를 거의 읽지 않는다면 무엇을 확인해야 하나요?

콘텐츠를 더 만들기 전에 robots.txt, 방화벽, sitemap, 내부 링크 등 AI가 페이지를 발견하고 접근할 수 있는 환경부터 확인하는 것이 좋습니다.