llms.txt 효과 있을까? AI 봇 68,759건 실측 결과

llms.txt 효과 있을까? 4주간 AI 봇 68,759건을 직접 측정해봤습니다

지난 글에서 "추측이 아니라 실제 측정 데이터로 답하겠다"고 했습니다. 약 한 달간 직접 측정한 결과를 공개합니다.

지난 6월, 위커프는 이 글에서 llms.txt가 정말 효과가 있는지 확인하기 위해 세 가지 질문을 던졌습니다.

1. llms.txt를 AI가 실제로 읽어갈까?
2. llms.txt 도입 후 AI 트래픽이나 인용에 변화가 있을까?
3. llms.txt에 적어둔 페이지는 AI가 더 자주 읽어갈까?

두 개 사이트에서 발생한 AI 봇 요청 68,759건 가운데 llms.txt 요청은 0건이었습니다.

어떻게 측정했나

이번 연구는 **위커프 GEO 애널리틱스**를 이용해 AI 봇 접근 기록을 측정했습니다. 일반적인 웹 분석 도구는 사용자가 사이트에 들어온 뒤 브라우저에서 분석 스크립트가 실행되어야 방문이 기록됩니다. 하지만 GPTBot, ClaudeBot 같은 AI 크롤러는 사람처럼 브라우저에서 분석 스크립트를 실행하지 않기 때문에 "읽어갔나"는 확인이 불가능하죠.

위커프 GEO 애널리틱스는 AI 봇이 웹사이트에 실제로 접근한 요청을 직접 확인하기에 단순히 "AI가 우리 사이트를 읽었을 것이다"라고 추정하는 것이 아니라,

• 어떤 AI 봇이

• 언제

• 어떤 페이지를

• 몇 번 읽어갔는지

를 직접 확인할 수 있습니다.

또한, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot 등 AI 봇별 크롤링 현황뿐 아니라 개별 요청 로그까지 확인했습니다. 이번 연구에서도 이 데이터를 이용하여 /llms.txt, /robots.txt, /sitemap.xml 등의 실제 요청 여부를 각각 추출해 비교하였습니다.

핵심 요약

• 두 개의 운영 사이트에서 약 한 달간 AI 봇 요청 68,759건을 측정했지만, /llms.txt 요청은 0건이었습니다.

• 같은 기간 robots.txt는 1,938건, sitemap.xml·rss는 1,224건 요청돼, AI 봇이 사이트 보조 파일을 전혀 읽지 않는 것은 아니었습니다.

• GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Applebot 등 주요 봇 모두 llms.txt에 접근하지 않았습니다.

• 반대로 llms.txt를 요청한 주체는 주로 Chrome Lighthouse, Semrush, BuiltWith 같은 웹사이트 분석·SEO 진단 도구였습니다.

• 따라서 현재 데이터만 보면 llms.txt는 AI 검색·GEO 성과를 위해 별도로 작성하고 관리할 우선순위가 낮습니다.

• 이미 자동 생성되고 있다면 그대로 두면 되지만, 별도 개발·관리 비용을 들여 만들 가치는 확인하지 못했습니다.

측정 대상

실제 운영 사이트를 대상으로 측정했습니다.

측정 대상에는 GPTBot, OAI-SearchBot, ChatGPT-User 등 주요 AI·검색 봇이 포함됐으며, 82개 봇을 대상으로 측정한 결과입니다. 전체 목록은 위커프에서 관리하는 Bot 목록에서 확인하실 수 있습니다.

봇을 사칭한 트래픽은 제외했습니다

User-Agent 로 봇을 구분했는데요, User Agent 값은 임의로 변조가 가능합니다. 따라서 이번 측정에서는 User-Agent와 함께 요청 네트워크의 ASN 및 소유 조직 정보를 교차 검증하여 오차를 줄였습니다. 즉, User-Agent 기준이 아니라 네트워크 출처 검증까지 거친 수치입니다.

질문 1. AI가 llms.txt를 읽을까요?

68,759건 중 0건

이번 측정에서는 AI 봇이 llms.txt를 읽은 사례를 확인하지 못했습니다. 측정 기간 동안 수집된 AI 봇 요청은 총 68,759건이었지만, 이 가운데 /llms.txt에 대한 요청은 0건이었습니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Applebot 모두 해당 파일에 접근한 기록이 없었습니다. 특히 A 사이트는 측정 시작 시점부터 /llms.txt 파일을 정상적으로 제공하고 있었음에도 AI 봇의 요청이 발생하지 않았습니다.

질문 2. 나머지 두 질문은 어떻게 됐을까요?

원래 나머지 질문은 이런 것이었습니다.

2) llms.txt를 도입하면 AI 트래픽이나 인용이 증가할까?
3) llms.txt에 넣어둔 URL을 AI가 더 많이 읽어갈까?

그런데 전제부터 무너졌습니다. 파일 자체를 한 번도 읽지 않았기에 AI가 읽지 않은 파일이 AI의 크롤링 순서를 바꿨다고 설명하기 어렵고, 그 안에 적힌 URL이 더 많이 읽혔다고 하더라도 이를 llms.txt의 효과라고 볼 근거가 없음을 확인했습니다.

혹시 AI 봇이 이런 파일 자체를 안 읽는 건 아닐까요?

llms.txt 요청이 0건이라는 사실만 보면 이런 의문이 있었습니다.

AI 봇들이 원래 SEO 파일을 잘 안 읽는 것은 아닐까?

그래서 같은 기간 /sitemap.xml과 /robots.txt도 함께 확인했습니다. 결과는 전혀 달랐습니다.

robots.txt와 sitemap.xml은 읽었습니다

결과를 보면 AI가 이런 파일을 읽지 않는 것이 아니라, robots와 sitemap은 읽으면서 llms.txt는 읽지 않았습니다. 즉 AI 크롤러들이 사이트의 SEO 파일을 전혀 확인하지 않는 것이 아니라, llms.txt만 선택적으로 읽지 않았다는 점이 이번 측정의 핵심입니다.

봇마다 참고하는 파일도 달랐습니다.

sitemap 쪽에서도 비슷한 차이가 나타났습니다. ClaudeBot은 두 사이트에서 sitemap.xml을 156번, sitemap.rss를 158번 요청했고 GPTBot도 각각 17번 가져갔습니다. RSS를 찾아 읽는 봇이 llms.txt에는 한 번도 접근하지 않은 셈입니다. 반대로 Applebot과 PerplexityBot은 이번 기간 동안 sitemap을 요청하지 않았는데, robots.txt에는 각각 317번과 20번 접근했습니다. 즉 AI 봇이라고 해서 모두 같은 방식으로 사이트를 탐색하는 것이 아니라 서비스마다 참고하는 파일과 크롤링 방식이 다르다는 점도 함께 확인할 수 있었습니다.

그런데 llms.txt 자체에는 61건의 요청이 있었습니다

여기서 재미있는 결과가 하나 나왔습니다. AI 봇은 /llms.txt를 한 번도 요청하지 않았는데, A 사이트의 llms.txt 자체에는 4주 동안 61건의 요청이 들어와 있었습니다. 누가 읽었는지 하나씩 확인해본 결과, SEO 점검 도구에서 발생한 요청이었습니다.

결과적으로 llms.txt를 찾아온 것은 AI 봇이 아니라 웹사이트 진단 도구였습니다. 특히 B 사이트는 llms.txt를 만든 적이 없어 /llms.txt 요청에 페이지 없음(404)을 반환하는데도, 같은 종류의 도구들이 파일 존재 여부를 확인하기 위해 접근했습니다. 즉 이번 데이터에서는 파일이 있든 없든 AI는 찾아오지 않았고, 웹사이트 분석 도구만 요청하는 것을 확인했습니다.

그래서 지금까지의 결론은

지난 글을 쓸 당시에는 llms.txt를 이렇게 봤습니다. "효과는 불분명하지만 비용이 낮으니 만들어두자." 약 한 달간 실제 AI 봇 로그를 측정한 뒤에는 이렇게 바뀌었습니다.

"SEO 진단 도구의 체크 항목을 통과하는 것 이상의 가치를 확인하지 못했다."

이번 측정에서 AI 봇 요청은 68,759건이었습니다. llms.txt 요청은 0건이었습니다. 반면 sitemap.xml과 robots.txt는 지속적으로 읽혔으며 llms.txt를 가장 많이 요청한 것은 AI가 아니라 Lighthouse를 비롯한 웹사이트 분석 도구였습니다. 따라서 현재 위커프의 결론은 명확합니다. 이미 생성되어 있거나 자동으로 생성된다면 굳이 없앨 필요는 없으나 GEO를 위해 별도의 시간과 관리 비용을 들여 llms.txt를 작성할 필요는 없다고 봅니다.

나중에 혹시라도 AI 서비스들이 llms.txt를 실제 탐색 과정에 도입한다면 로그에서 가장 먼저 변화가 나타날테니 그때는 다시 측정해서 결과를 공개하겠습니다.

자주 묻는 질문

Q. llms.txt는 효과가 있나요?

AI 봇 요청 68,759건 가운데 llms.txt 요청은 0건이었습니다. 따라서 이번 측정에서는 llms.txt가 AI 크롤링에 영향을 줬다고 볼 근거를 확인하지 못했습니다.

Q. AI 봇이 llms.txt를 정말 한 번도 읽지 않았나요?

이번에 측정한 두 사이트에서는 확인되지 않았습니다. llms.txt가 정상적으로 존재하고 200 응답하는 사이트에서도 마찬가지였습니다.

Q. AI가 이런 파일 자체를 읽지 않는 건가요?

아닙니다. 같은 기간 sitemap.xml과 robots.txt는 주요 AI 봇들이 지속적으로 요청했습니다. llms.txt만 요청하지 않았습니다.

Q. 그러면 llms.txt는 누가 읽나요?

이번 측정에서는 Chrome Lighthouse, Semrush SiteAuditBot, BuiltWith 등 웹사이트 품질·SEO 분석 도구의 요청이 대부분이었습니다.

Q. llms.txt를 만들어야 하나요?

자동 생성된다면 굳이 삭제할 필요는 없고, 일부 SEO 진단 도구의 체크 항목을 통과하기 위해 만들 수도 있습니다. 하지만 AI 검색이나 GEO 성과를 위해 별도의 작업 시간과 관리 비용을 들일 가치는 이번 데이터에서는 확인하지 못했습니다.

Q. llms.txt가 없으면 GEO에 불리한가요?

현재 측정 결과만 놓고 보면 그렇게 볼 근거가 없습니다. 이번 측정에서 주요 AI 봇들이 파일 자체를 요청하지 않았기 때문입니다.

측정 기간: 2026년 7월 24일 ~ 8월 16일(사이트별 상이).
측정 도구: 위커프 GEO 애널리틱스. AI 봇별 실제 접근 로그를 기반으로 집계했으며, 봇 사칭 트래픽은 요청 출처를 추가 검증해 제외했습니다.