robots.txt 관리하기

robots.txt는 검색엔진과 AI 봇에게 사이트에서 무엇을 읽어도 되는지 알려 주는 파일이에요. 사이트를 위커프에 연결하면, 플랫폼에서 고치기 어려운 robots.txt를 위커프에서 바로 고칠 수 있어요.

 

1. 위커프 관리 켜기

1. 사이드바에서 사이트 > 고급 설정을 열어요. 사이트가 여러 개면 위쪽 사이트에서 고를 사이트를 정해요.
2. robots.txt 카드 오른쪽 위의 토글을 켜요.

편집 칸이 열리고, 지금 원본 사이트의 robots.txt에 위커프 줄(블로그 사이트맵 등)을 더한 내용이 채워져 있어요. 토글을 켜기만 하고 저장하지 않으면 실제 사이트는 바뀌지 않아요.

블로그를 연결해서 위커프 줄이 이미 붙고 있다면 토글이 처음부터 켜져 있어요.

 

2. 고치고 저장하기

1. 편집 칸에서 내용을 고쳐요. 위커프가 넣은 줄도 고치거나 지울 수 있어요.
2. 저장을 눌러요.

저장한 내용이 그대로 나가요. 실제 사이트에는 몇 분 안에 반영돼요. 반영됐는지는 https://내도메인/robots.txt를 열어 확인해요.

 

자주 쓰는 예

모든 봇에게 전체 허용, 관리자 페이지만 막기:

User-agent: *
Disallow: /admin

특정 AI 봇만 막기 (예: GPTBot):

User-agent: GPTBot
Disallow: /

 

사이트 전체를 막는 줄을 넣으면

User-agent: * 아래에 Disallow: /가 있으면 칸 아래에 경고가 나오고, 저장할 때 한 번 더 확인해요. 이대로 저장하면 검색 결과와 AI 답변에서 사이트가 빠져요. /admin처럼 일부만 막는 줄은 해당하지 않아요.

 

위커프 관리 끄기

토글을 끄면 robots.txt 관리 끄기 창이 떠요. Turn off를 입력하고 끄기를 누르면, 원본 사이트의 robots.txt를 그대로 내보내요. 블로그 사이트맵 줄도 빠져요.

 

알아 둘 것

• 100KB까지 저장할 수 있어요.
• 설정은 사이트(주소)마다 따로 저장돼요.
• AI 봇이 실제로 사이트를 읽는지는 분석 > 봇 크롤링에서 확인할 수 있어요.