llms.txt 정말 효과가 있을까?

"구글이 쓸모없다" 말했다.

llms.txt를 두고도 구글 내에서 묘한 풍경이 펼쳐지고 있습니다. 구글 크롬에서는 SEO 검사 도구가 "llms.txt 없음"을 경고로 띄우고, 구글 검색 팀에서는 공식적으로 "우리는 안 쓴다"고 못을 박았습니다. 한 회사 안에서 한쪽은 점검 항목으로 넣고, 한쪽은 무시하는 형태입니다.

그래서 누구 말이 맞고, 어떻게 해야할까요?

llms.txt가 뭔데?

한 줄로 말하면 AI를 위한 가이드 파일입니다.

우리가 책에서 중요한 부분만 골라 기록하듯, AI도 문서 전체를 잘게 잘라 필요한 조각만 가져갑니다. 한 번에 가져갈 수 있는 용량이 작아서 생긴 방식이죠.

그런데 요즘 웹사이트는 광고, 자바스크립트, CSS처럼 AI 이해를 방해하는 요소가 가득합니다. 사람이 읽기엔 좋은 구성이지만, AI가 읽을 때는 어디가 중요한 본문인지 헷갈리고, 정작 본문이 들어갈 자리도 줄어듭니다.

그래서 나온 발상이 "AI한테 따로 정리된 지도를 쥐여주자"입니다. 사이트에 llms.txt라는 마크다운 파일을 두고, "이 사이트에서 중요한 페이지는 여기 있다"고 깔끔하게 적어두는 거죠.

구글은 정확히 뭐라고 했나

구글은 한 번이 아니라 여러 차례, 여러 사람의 입으로 같은 말을 반복했습니다.

• Gary Illyes (2025년 7월, Search Central Deep Dive APAC): AI Overview에 노출되려면 그냥 평범한 SEO면 된다. 구글은 llms.txt를 지원하지 않고, 그럴 계획도 없다.

• John Mueller: 서버 로그를 보면 AI 서비스들이 llms.txt를 확인조차 하지 않는다. 이건 사이트 주인이 "내 사이트는 이런 사이트요"라고 스스로 주장하는 것에 불과하다 — 오래전 검색엔진이 버린 meta keywords 태그와 똑같다. (그럴 거면 그냥 사이트를 직접 확인하면 되지 않나?)

• 2025년 12월 해프닝: 구글 자체 개발자 문서에 llms.txt가 잠깐 등장했다가, 검색팀이 곧바로 내렸습니다. "이거 구글의 공식 지지냐"는 질문에 Mueller는 짧게 "no"라고 답했습니다.

• 2026년 5월 가이드: 구글의 AI 최적화 공식 가이드는 llms.txt를 "굳이 안 만들어도 되는 전술" 목록에 명시했습니다. 이유는 AI Overview·AI Mode가 결국 일반 검색과 같은 인덱스에서 콘텐츠를 끌어오기 때문입니다.

정리하면, 구글 검색 안에서는 llms.txt가 가시성에 영향을 주지 않는다는 게 구글공식 입장입니다.

그럼 다른 곳의 데이터는?

다른 사람이 실제로 측정한 숫자를 보면, 봇이 정말로 안 읽습니다.

• SE Ranking: 도메인을 대규모로 분석했더니 llms.txt를 가진 사이트는 약 10%에 불과했고, 보유 여부와 AI 인용 빈도 사이에 직접적인 연결고리가 보이지 않았습니다.

• OtterlyAI (90일 측정): AI 봇 요청 62,100건 중 llms.txt로 간 건 단 84건, 0.1%였습니다. 같은 도메인의 평균 콘텐츠 페이지보다도 3배 낮게 방문된 셈입니다.

• ahrefs: llms.txt를 발행한 모집군 가운데, 그중 97%는 어떤 봇에게도 한 번도 요청된 적이 없었습니다. 하지만 읽은 트래픽 중 96%는 사람이 아닌 AI 봇 트래픽이였습니다.

숫자만 보면 "쓸모없네"로 끝낼 수 있을 것 같습니다. 하지만 여기서 저희가 갖는 의문은 조금 다릅니다.

하지만 저희의 입장은 조금 다릅니다.

좋은건 모르겠어, 나쁜게 있나?

llms.txt는 작성이 정말 쉽습니다. 메모장으로 적어 업로드하면 됩니다.

따라서 아주 쉽게 준비하니(=대응 비용이 정말 저렴하니) 의문을 갖는 포인트에는 대응하자는 취지입니다.

구글이 llms.txt를 안쓰는 이유는 따로 있다.

구글은 이미 자기 인덱스 위에서 AI 검색을 돌리고, 이미 이를 대체할만한 robots.txt 라는 강력한 웹표준을 전세계에 뿌려 놨으니 구글에게는 필요하지 않습니다. 또한, 필요로 하더라도 자리를 위협할만한 llms.txt 표준이 달가울리 없다는 취지입니다.

(robots.txt 는 모든 사이트에 거의 있지만, llms.txt 로 넘어가면 인식·표준이 통제 바깥 범위로 벗어남)

다만 현재는 Chat-GPT, Claude, Perplexity 등 구글 외의 AI 도구의 점유가 높은 상황이고 이 들이 선택하는 방향은 구글과 달라질 수 있습니다.

너무 빠르게 변화가 일어난다.

AEO·GEO 업계에 있으면서 매일 변하는 AI 생태계를 정말 빠르게 체감합니다. 필요 없다고들 하던 것이 다시 살아나기도 하고, 반대로 표준으로 굳을 것 같던 게 조용히 사라지기도 합니다. 위커프가 준비 중인 사이트별 RAG-Index 생성도, 어쩌면 llms.txt와는 다른 방향의 답이 될지 모릅니다.

그래서 직접 측정해보기로 했습니다.

위커프는 이 질문을 추측으로 끝내지 않고, 장기적으로 직접 측정하기로 했습니다. 우리가 알고 싶은 건 세 가지입니다.

• llms.txt를 AI가 읽어가긴 할까?

• llms.txt 도입 후에 AI 트래픽/인용에 변화가 있을까?

• llms.txt에 적어둔 페이지는 AI가 더 잘 읽어갈까?

(부가 질문)

그럼 다른 파일은? AI는 sitemap.xml 같은 기존 파일은 잘 읽어가는지, llms.txt와의 호환은 어떤지.

추측이 아니라, 정확한 측정에 기반한 로그로 답하겠습니다.

이 글을 시작으로, 디테일한 연구 결과를 하나씩 공개해 나갈 예정입니다.

미리 보는 측정방법

측정 방법은 위커프에서 제공하는 애널리틱스를 사용할 예정입니다. AEO·GEO에 초점을 맞춘 사용자 유입 추적·분석 도구입니다.

핵심 특징은 측정 방식입니다. GA4 처럼 페이지에 스크립트를 심는 방식이 아니라, 사이트의 진입점(CDN)에서 AI 요청 기록을 살펴봅니다.

AI 봇 트래픽은 일반적인 분석 스크립트나 로그를 언제 기록했는지에 따라 놓치기 쉬운데, 위커프 애널리틱스는 CDN 기반으로 AI 접근 요청을 그대로 잡아냅니다. 해석에 따라 달라지는 추정치가 아니라, 실제로 오간 요청 그 자체를 볼 예정입니다.

따라서 해석에 의해 달라지는 방식이 아닌, 가장 정확한 방법으로 측정하고, 그 결과를 공개할 예정입니다.

AEO·GEO 변화를 추적하고 싶으시다면, 뉴스레터를 구독해주세요

위커프는 빠르게 변하는 AEO·GEO를 단발성이 아니라 장기적으로 추적·연구하고 있습니다.

연구결과를 깊지만 쉽게, 다채로운 인사이트로 풀어가겠습니다.

글 아래 무료 뉴스레터를 구독해보세요!

그래서, 지금까지의 결론은

"llms.txt 효과 있나?"에 한 줄로 답하면 이렇습니다.

지금 구글 가시성에 꼭 필요한 장치는 아닙니다. 하지만 죽은 것도 아닙니다.

용도와 동향이 갈릴 뿐입니다. 개발 문서를 AI 코딩 도구에게 먹이는 본래 목적에서는 여전히 쓸모가 있고, AI 검색 가시성 레버로는 아직 근거가 없습니다. 그리고 이 경계는 분기마다 움직입니다.

진짜 레버는 파일 하나가 아닙니다. AI가 인용할 만한 콘텐츠인지를 측정하고 처리하는 것이 본질입니다. 그 측정 결과는, 다음 글에서 이어가겠습니다.

정리

Q. llms.txt가 뭔가요?

AI를 위한 가이드 파일입니다. 사이트 루트에 두는 마크다운 파일로, "이 사이트에서 중요한 페이지는 여기 있다"고 AI에게 정리해 알려주는 용도입니다. 광고·스크립트가 섞인 일반 HTML 대신, AI가 읽기 좋은 형태로 핵심을 추려주는 게 목적입니다.

Q. llms.txt, 효과 있나요?

지금 구글 검색 가시성을 끌어올리는 장치로는 근거가 없습니다. 구글은 공식적으로 안 쓴다고 밝혔고, 여러 연구에서도 보유 여부와 AI 인용 사이의 직접적 연결은 확인되지 않았습니다. 다만 다른 AI에서는 작지만(1%)실제 이 파일을 읽어가고 있습니다.

Q. 구글이 안 쓴다는데 왜 그런가요?

구글은 이미 자기 검색 인덱스 위에서 AI Overview·AI Mode를 돌리고 있어, 사이트가 스스로 신고하는 파일을 새로 만들 이유가 없습니다. 또 robots.txt라는 자기 표준을 이미 전 세계에 깔아둔 당사자이기도 합니다. "구글에 안 통한다"와 "AI 생태계 전체에 안 통한다"는 다른 입장으로 해석하는 것이 좋습니다.

Q. 그럼 만들 필요 없나요?

위커프의 입장은 "그래도 만들어두자"입니다. 메모장으로 작성해 올리면 될 만큼 비용이 거의 들지 않고, AI 생태계는 빠르게 바뀌기 때문입니다. 오늘 안 읽히는 파일이 내년에 표준이 될 수도 있습니다. 손해 볼 게 없는 대비입니다.

Q. 효과를 어떻게 측정하나요?

스크립트 삽입 방식이 아니라, 사이트의 진입점인 CDN 로그를 실측합니다. AI 봇 트래픽은 일반 분석 스크립트로는 놓치기 쉬운데, 트래픽 경로에 직접 앉은 CDN 로그는 그 요청을 그대로 잡아냅니다. 해석에 따라 달라지는 추정치가 아니라, 실제로 오간 요청 자체를 봅니다.