구글 블로그스팟 Robots.txt 설정하기｜직접 확인해보니 크롤링과 색인은 달랐다 검색 설명
블로그스팟을 운영하면서 Google Search Console에서 색인 상태를 확인하다 보면
한 번쯤 만나게 되는 단어가 있습니다.
바로 robots.txt입니다.
처음에는 저도 이름부터 어렵게 느껴졌습니다.
“이걸 설정해야 Google이 내 글을 제대로 가져가는 걸까?”
“직접 코드를 넣어야 하는 건가?”
“잘못 설정하면 글이 검색에서 사라지는 건 아닐까?”
검색해보면 인터넷에는 robots.txt에 관한 여러 가지 코드와 설정 방법이 나옵니다.
그런데 실제로 Blogger 설정 화면을 하나씩 확인하고, Search Console에서 글의 색인 상태까지 함께 살펴보니 무조건 코드를 넣는 것이 답은 아니었습니다.
오히려 중요한 것은 robots.txt가 무엇을 하는 기능인지 먼저 이해하는 것이었습니다.
1. robots.txt는 무엇을 하는 파일일까?
robots.txt는 검색엔진 크롤러에게 어떤 URL을 크롤링할 수 있는지 알려주는 파일입니다.
Google은 robots.txt를 웹사이트의 크롤러 접근을 관리하는 파일이라고 설명합니다.
주요 목적은 크롤러가 사이트에 요청을 보내는 방식을 조절하는 것이며, 검색 결과에서 페이지를 완전히 없애는 기능은 아닙니다.
처음 이 내용을 알았을 때 저도 조금 헷갈렸습니다.
‘검색엔진이 내 글을 가져가는 것’과 관련된 기능이니 당연히 색인을 결정하는 기능이라고 생각하기 쉬웠기 때문입니다.
하지만 실제로는 단계가 다릅니다.
크롤링 → 내용을 확인하는 과정
색인 → 확인한 내용을 Google 검색 데이터베이스에 저장하는 과정
따라서 크롤링됐다고 해서 반드시 색인되는 것은 아닙니다.
이 차이를 알고 나니 Search Console에서 보이는 여러 상태도 조금씩 이해하기 쉬워졌습니다.
2. Search Console에서 색인을 확인하다 보니
제가 Blogger 글을 하나씩 발행하면서 가장 신경 쓰였던 부분도 바로 이것이었습니다.
글을 발행했다고 해서 바로 Google 검색에 나타나는 것은 아니었습니다.
그래서 Search Console에서 URL 검사를 하고,
“이 URL은 Google에 등록되어 있는가?”
를 하나씩 확인했습니다.
그 과정에서 알게 된 것은 robots.txt 하나만 잘 설정한다고 색인이 바로 되는 것은 아니라는 것이었습니다.
Google이 설명하는 것처럼 robots.txt는 크롤러가 접근할 URL을 관리하는 기능이고, 색인에서 제외하는 목적이라면 noindex와 같은 별도의 방법을 사용해야 합니다.
이 부분은 블로그를 처음 시작하는 분들이 특히 많이 혼동하는 부분입니다.
3. Blogger에서 robots.txt는 어디에 있을까?
Blogger 관리자 화면에서
설정 → 크롤러 및 색인 생성
으로 들어가면 관련 설정을 확인할 수 있습니다.
여기에는
맞춤 robots.txt 사용 설정
이라는 항목이 있습니다.
Blogger 공식 도움말에서도 이 기능을 켜면 기본 robots.txt 대신 사용자가 입력한 맞춤 robots.txt가 검색엔진에 제공된다고 설명합니다.
저도 이 부분을 직접 확인해봤습니다.
처음 보면 “맞춤 설정”이라는 말 때문에 뭔가 직접 입력해야 할 것처럼 느껴집니다.
하지만 여기서 잠깐 멈추는 것이 좋습니다.
맞춤 설정이 있다는 것과 반드시 맞춤 설정을 해야 한다는 것은 전혀 다른 이야기이기 때문입니다.
4. 저는 맞춤 robots.txt를 바로 입력하지 않았습니다
실제로 Blogger를 관리하면서 이 부분을 확인했을 때,
맞춤 robots.txt 사용 설정은 OFF로 두었습니다.
처음에는 이것저것 직접 설정해야 검색에 더 유리할 것 같았습니다.
하지만 Google의 공식 안내를 확인해보니 Blogger 같은 CMS에서는 직접 robots.txt를 수정할 필요가 없을 수 있다고 되어 있습니다.
또한 Blogger 제품 전문가의 공식 커뮤니티 답변에서도 대부분의 Blogger 사이트에서는 기본 robots.txt를 사용하는 것이 적절하며 맞춤 robots.txt가 필요한 경우는 드물다고
안내하고 있습니다.
그래서 저는 오히려 모르는 코드를 넣지 않는 것을 선택했습니다.
이것이 이번 설정을 직접 확인하면서 얻은 가장 중요한 교훈 중 하나였습니다.
모르는 SEO 코드를 넣는 것보다, 기본 설정이 무엇을 하고 있는지 이해하는 것이 먼저였습니다.
5. 인터넷에서 본 robots.txt 코드를 그대로 넣어도 될까?
저는 권하지 않습니다.
검색해보면 다양한 robots.txt 예시를 쉽게 찾을 수 있습니다.
그런데 다른 Blogger에서 사용하고 있는 코드라고 해서 내 블로그에도 그대로 적용해야 하는 것은 아닙니다.
특히 Disallow 같은 규칙을 잘못 설정하면 크롤러의 접근을 제한할 수 있기 때문입니다.
Google도 robots.txt가 크롤러의 URL 접근을 제어하는 기능이라고 설명합니다.
따라서 처음 블로그를 운영하는 단계라면
“SEO에 좋다니까 일단 넣어보자.” 보다는
“내가 이 코드를 왜 넣는지 설명할 수 있는가?”
저라면 설명할 수 없는 코드는 넣지 않겠습니다.
블로그도 집과 비슷합니다.
열쇠가 어디에 쓰이는지도 모르면서 현관문에 자물쇠를 하나 더 달 필요는 없으니까요.
6. robots.txt와 noindex는 다르다
이 부분은 꼭 구분해두어야 합니다.
robots.txt
→ 크롤러의 접근을 관리합니다.
noindex
→ 해당 페이지를 검색 결과에 표시하지 않도록 지시합니다.
Google은 noindex가 검색엔진이 해당 페이지를 검색 결과에 표시하지 않도록 하는 방법이라고 설명합니다. 단, Googlebot이 해당 페이지를 크롤링하여 noindex 지시를 확인할 수 있어야 합니다. robots.txt로 해당 페이지를 차단해버리면 Googlebot이 noindex를 읽지 못할 수 있습니다.
그래서 두 기능을 같은 것으로 생각하면 안 됩니다.
robots.txt = 크롤링 접근 관리
noindex = 검색 색인 제외
이렇게 기억하면 훨씬 쉽습니다.
7. Blogger의 로봇 헤더 태그와도 연결된다
Blogger에는 robots.txt 외에도
맞춤 로봇 헤더 태그 사용 설정
이 있습니다.
실제로 설정 화면을 확인하다 보면
- 홈페이지 태그
- 자료실 및 검색 페이지 태그
- 글 및 페이지 태그
등을 구분해서 설정할 수 있습니다.
Blogger 공식 도움말에서도 이 기능을 이용해 홈페이지, 검색·자료실, 글·페이지 등에 로봇 태그를 설정할 수 있다고 안내합니다.
여기서 noindex 같은 설정이 등장합니다.
저도 실제 설정을 하나씩 확인하면서 “robots.txt와 로봇 헤더 태그가 뭐지?”라는 생각을 하면서
그 차이를 이해하는 것이 다음 단계입니다.
8. 이번에 직접 설정하면서 알게 된 것
이번에 Blogger 설정과 Search Console을 함께 확인하면서 제가 가장 크게 느낀 것은 이것입니다.
처음에는 검색 유입을 늘리려면 무언가를 많이 설정해야 한다고 생각하기 쉽습니다.
하지만 실제로 하나씩 확인해보니 반대였습니다.
필요하지 않은 것은 건드리지 않는 것도 SEO 관리의 중요한 부분이었습니다.
특히 robots.txt는 검색엔진의 크롤링과 연결되는 기능이기 때문에, 정확한 이유 없이 수정하기보다는 기본 설정을 유지하면서 Search Console에서 실제 상태를 확인하는 방식이 더 안전하다고 판단했습니다.
9. robots.txt를 이해하면 Search Console도 조금 쉬워진다
이제 Search Console에서
- 크롤링
- 색인
- URL 검사
- 색인 생성 여부
등을 볼 때 조금 다른 시각으로 볼 수 있습니다.
“왜 아직 색인이 안 됐지?”
라고 생각했을 때 무조건 robots.txt부터 의심할 필요는 없습니다.
크롤링 여부와 색인 여부를 먼저 구분해야 합니다.
그리고 실제 URL 상태를 Search Console에서 확인하면서 원인을 하나씩 좁혀가는 것이 좋습니다.
⭐ 다음 글
구글 블로그스팟 robots 메타태그 설정하기｜noindex와 nofollow를 실제 예시로 이해하기
※ robots.txt는 검색엔진에게 “어디까지 들어와도 되는지” 알려주는 안내이고,
댓글
댓글 쓰기