구글 블로그스팟 robots 메타태그 설정하기 │ noindex와 nofollow 제대로 이해하기
Blogger를 운영하다 보면 robots.txt와 함께 robots 메타태그라는 용어를 만나게 됩니다.
둘 다 검색엔진과 관련된 설정이지만 역할은 다릅니다.
앞 편에서 살펴본 robots.txt가 검색로봇의 크롤링과 접근에 관한 규칙이라면, robots 메타태그는 페이지를 검색 결과에 어떻게 처리할지 알려주는 지시사항입니다.
특히 noindex와 nofollow는 이름이 비슷해서 처음 보면 헷갈리기 쉽습니다.
이번 글에서는 Blogger에서 robots 메타태그가 무엇인지 알아보고, noindex와 nofollow의 차이, 설정할 때 주의할 점까지 한 번에 정리해보겠습니다.
1. 구글 블로그스팟 robots 메타태그란 무엇인가
robots 메타태그는 웹페이지의 <head> 영역에 들어가는 지시사항입니다.
검색로봇에게 해당 페이지를 검색 결과에 포함할지, 페이지 안의 링크를 어떻게 처리할지 등의 정보를 전달할 수 있습니다.
대표적으로 많이 알려진 것이 다음 두 가지입니다.
-
noindex -
nofollow
두 설정은 이름이 비슷하지만 역할이 다릅니다.
noindex는 페이지의 검색 결과 노출과 관련된 설정이고,
nofollow는 페이지에 포함된 링크의 처리와 관련된 설정입니다.
따라서 둘을 같은 의미로 생각하면 안 됩니다.
2. 구글 블로그스팟 robots 메타태그 설정 방법
Blogger에서는 robots 관련 설정을 직접 코드로 작성하는 방법만 있는 것이 아닙니다.
Blogger가 제공하는 맞춤 robots 헤더 태그 설정을 통해 검색로봇에 전달할 규칙을 지정할 수 있습니다.
관리 화면에서 관련 설정을 확인할 때는 먼저 Blogger의 검색엔진 설정을 살펴보는 것이 좋습니다.
인터넷에서 다른 사이트의 robots 코드를 그대로 복사해서 붙여 넣는 방법부터 찾을 필요는 없습니다.
특히 검색 유입을 목적으로 운영하는 일반적인 블로그라면 현재 Blogger의 기본 설정이 어떻게 작동하고 있는지 먼저 확인하는 것이 우선입니다.
3. 구글 블로그스팟 noindex란 무엇인가
noindex는 검색엔진에게 해당 페이지를 검색 결과에 표시하지 않도록 요청하는 지시입니다.
예를 들어 다음과 같은 형태로 사용됩니다.
<meta name="robots" content="noindex">
이 지시를 검색로봇이 확인하면 해당 페이지를 검색 결과에서 제외할 수 있습니다.
여기서 중요한 점이 있습니다.
noindex는 크롤링을 차단하는 설정이 아닙니다.
검색로봇이 페이지에 접근해서 noindex 지시를 확인할 수 있어야 합니다.
따라서 robots.txt에서 해당 페이지의 크롤링을 막아 놓으면 검색로봇이 noindex를 확인하지 못할 수 있습니다.
이 부분 때문에 robots.txt와 robots 메타태그를 같은 기능으로 생각하면 안 됩니다.
4. 구글 블로그스팟 nofollow란 무엇인가
nofollow는 페이지에 포함된 링크를 따라가지 않도록 지시하는 데 사용되는 robots 규칙입니다.
예를 들어 다음과 같이 사용할 수 있습니다.
<meta name="robots" content="nofollow">
여기서 nofollow는 페이지 자체를 검색 결과에서 제외한다는 의미가 아닙니다.
따라서 다음처럼 구분하면 쉽습니다.
noindex → 이 페이지를 검색 결과에 표시하지 않도록 하는 것
nofollow → 이 페이지의 링크를 따라가지 않도록 지시하는 것
이 두 가지는 서로 다른 목적을 가지고 있습니다.
5. 구글 블로그스팟 noindex와 nofollow의 차이
두 용어를 비교하면 훨씬 쉽게 이해할 수 있습니다.
noindex는 해당 페이지를 Google 검색결과에 표시하지 않도록 하는 지시이고, nofollow는 해당 페이지의 링크를 따라가지 않도록 하는 지시입니다.
따라서 두 설정은 같은 기능이 아닙니다.
필요한 경우에는 noindex, nofollow처럼 두 설정을 함께 사용할 수도 있습니다.
쉽게 기억하면 됩니다.
noindex = 검색결과 제외
nofollow = 링크를 따라가지 않도록 지시
6. 구글 블로그스팟 robots 메타태그와 robots.txt의 차이
둘 다 검색로봇과 관련된 설정이지만 역할이 다릅니다.
robots.txt는 검색로봇이 특정 URL에 접근할 수 있는지를 제어하는 규칙이고, robots 메타태그는 검색로봇이 해당 페이지를 검색결과에 어떻게 처리할지 알려주는 지시입니다.
따라서 간단하게 구분하면 다음과 같습니다.
robots.txt = 크롤링 접근에 관한 규칙
robots 메타태그 = 페이지 처리에 관한 지시
특히 robots.txt로 크롤링이 차단된 페이지는 Google이 페이지 안의 robots 메타태그를 읽을 수 없으므로, 두 설정을 같은 기능으로 생각하지 않는 것이 중요합니다.
7. 구글 블로그스팟 robots 메타태그 설정 시 주의할 점
검색 유입을 위해 운영하는 블로그라면 noindex 설정을 특히 조심해야 합니다.
noindex를 잘못 적용하면 해당 페이지가 Google 검색결과에 나타나지 않을 수 있기 때문입니다.
따라서 robots 관련 설정을 변경하기 전에는 다음 내용을 먼저 확인하는 것이 좋습니다.
- 어떤 페이지에 적용하는가?
- 검색결과에서 제외해야 하는 페이지인가?
- noindex와 크롤링 차단을 혼동하고 있지는 않은가?
- Blogger의 기본 설정으로 해결할 수 있는 문제는 아닌가?
특히 인터넷에서 찾은 robots 관련 코드를 그대로 복사해서 적용하는 것은 피하는 것이 좋습니다.
설정의 의미를 이해한 뒤 내 블로그에 실제로 필요한 경우에만 적용하는 것이 안전합니다.
8. 구글 블로그스팟 robots 메타태그 핵심 정리
이번 글에서 기억할 내용은 많지 않습니다.
noindex는 검색결과에서 페이지를 제외하라는 지시이고, nofollow는 페이지의 링크를 따라가지 않도록 하는 지시입니다.
그리고 robots.txt와 robots 메타태그도 역할이 다릅니다.
robots.txt = 크롤링 접근 제어
robots 메타태그 = 페이지 처리 지시
따라서 검색 관련 설정을 변경할 때는 코드를 먼저 넣기보다 각 설정이 어떤 역할을 하는지 확인한 후 필요한 경우에만 적용하는 것이 안전합니다.
마무리
Blogger의 검색 관련 설정을 처음 살펴보면 robots.txt, robots 메타태그, noindex, nofollow가 한꺼번에 등장해서 복잡하게 느껴질 수 있습니다.
저도 처음에는 각각의 기능을 따로 이해하기보다 검색에 도움이 되는 설정을 찾아
적용하려고 했습니다.
하지만 하나씩 확인해보니 중요한 것은 설정을 많이 하는 것이 아니라, 지금 어떤 설정이 적용되어 있고 그것이 무엇을 의미하는지 확인하는 것이었습니다.
특히 검색 유입을 위해 운영하는 블로그라면 잘 모르는 코드를 임의로 추가하기보다 현재 상태를 먼저 확인하는 것이 안전합니다.
이번 글에서는 Blogger의 robots 관련 설정을 구분해서 살펴봤습니다.
검색 관련 설정은 무조건 추가하기보다, 현재 블로그에 어떤 설정이 적용되어 있는지 먼저 확인하는 것이 중요합니다.
다음 글에서는 실제로 Search Console에서 URL을 확인하고, 검색 결과에서 특정 URL을 임시로 숨기는 방법을 살펴보겠습니다.
⭐ 다음 글 예고
Google Search Console 삭제(Removals) 기능 알아보기
검색 결과에서 특정 URL을 일시적으로 숨기는 방법을 실제 화면을 보면서 쉽게 정리해보겠습니다.
፠ 오늘의 내용 정리
댓글
댓글 쓰기