티스토리 블로그 등 웹사이트 - 네이버 웹마스터 도구에서 문서 수집은 되지만 검색엔진에서 색인 되지 않아 검색 시 웹사이트내 모든 글이 누락되는 문제 해결!
블로그의 탄생
이 포스트 제목의 문제가 되었던 티스토리 블로그가 바로 'topis.tistory.com'지금 보시고 계시는 이 블로그 입니다. 이 블로그는 2017년 12월에 개설해서 포스트 4개 정도만 올리고 스킨만 적용해 놓았지 사실상 올해 8월(2018)까지 운영이 되지 않은 블로그입니다. 차 후 비상시(?) 사용 할 목적으로 열어 놓은 사이트 이지요. 따라서 검색 유입에 대해 신경도 안 썼고 신경 쓸 필요도 없었습니다.
2018년 8월 쯔음 드는 생각이 그동안 운영해 왔던 블로그들이(필자는 이 블로그 외 3개정도 더 운영 중이다.) 전반적으로 포스트 개수만 많았지 별 내용도 없고 특별히 타 블로그와 차별되는 전문성도 없는 그저 그런 브로그 였습니다. 대충 요즘 뭐가 이슈인지 다른 사이트 쓱~ 한번 돌아본 뒤 글 하나 뚝딱 올려 조회수만 올라가기를 바랐습니다. 시간이 흐르면 흐를수록 방문자가 감소했고 업데이트도 되지 않아 마치 '폐가'같다는 느낌을 받았습니다. 그 중 몇몇 포스트는 아직도 꾸준한 방문자가 있는데 대부분 다른 글들에 비해 나름 잘 정리되어 있고 내용 또한 독창적인 글들 이었습니다. 이쯤 되자 그동안 막 써왔던 포스트이 하나 하나 눈에 걸렸고 이제부터라도 노후도 대비할 비교적 쉬운 부분부터 다시 포스트 하기로 마음먹고 다시 새로운 둥지를 틀었습니다. 지난 블로그에서 조금 부족해서 아쉬웠던 포스트들을 업데이트한다는 기분으로 양보다는 질 높은 문서를 만들자는 생각으로 포스트 하나하나 써 가고 있습니다.
네이버 웹봇은 외출 중? 제발 색인 좀 해 다오~
근데 문제는 8월 초 다시 시작한 이 블로그가 유독 네이버에서는 웹페이지 수집은 잘되나 색인이 전혀 되지 않는 문제가 발생했습니다. "뭐 글이 좀 차면 해결되겠지.."하며 처음에는 별 대수롭지 않게 생각 했습니다. 하루 이틀.. 보름이 넘자 그간 정성 들여 쓴 글들이 검색조차되지않는다는 사실에 허망함이 밀려들기 시작했습니다. 보통 하루에 포스트 하나 정도 올릴 만큼 나름 공들였고 검색 적용이 빠른 다음 검색에는 대부분 발행한 글들이 관련 키워드로 랭크돼 나갔습니다. 어떤 포스트는 주제의 범위가 너무 넓어 4~5일(짬짬히 쓰긴했지만)이 걸린 포스트들도있습니다. 저의 기력과 심혈을 기울인 만큼 네버이 검색 노출과 유입에 대한 욕심이 날로 커져 갔습니다. 하지만 어제 까지(2018.08.22) 이 문제는 해결이 되지 않았습니다.
비슷한 시기(2017년 말)에 필자는 2~3개 정도의 여분의 블로그를 같이 개설해 놓았는데 이 블로그들은 네이버에 과연 색인이 돼 있을까? 하는 의문과 호기심이 들었습니다. 관련 블로그를 네이버 검색을 통해 살펴보니 떡 하니 사이트 등록도 잘돼있었고 적은 포스트 개수였지만 비교적 색인도 잘 되어있었습니다. 심지어 아예 포스트가 없는 블로그도 웹사이트로 떡하니 등록된 걸 보니 색인과 관련해 화가 나지 않을 수 없었습니다.
이 네이버 검색 누락 사태의 심각성을 깨닫고 하루 하루 짬짬이 이 문제를 해결하기 위해 이것 저것 검색을 통해 관련 정보를 수집해 나갔습니다. 수집한 정보들을 정리하면 아래와 같지만 무엇보다 이 내용들로 이 문제를 해결될지 명확한 답은 찾기어려운 상황이었습니다.
제가 얻은 네이버 검색엔진 색인과 관련 문제와 관련한 정보들은 주로 아래의 내용입니다.
1. 시간이 문제를 해결해 준다. 기다려 봐라~
2. 포스트된 글이 너무 적다. 심지어 어떤 분은 포스트가 50개 이상이 있어야 색인 된다는 둥 별 심빙성 없어 보이는 주장을 하기도 했다.
3. 본인의 블로그가 저품질 블로그로 구분되어 있을 가능성이 있다.
1번을 바라고 마냥 기다리기에는 너무 답답했고 얼마나 걸리지.. 그리고 꼭 색인 문제가 해결된다는 보장도 없었습니다. 이와 관련된 내용 중 어떤 분은 이런 경우 5년이고 8년이고 기다려도 색인이 안됐다고 말하기도 했습니다. 생각만 해도 끔찍하네요. ㅠㅠ
2번은 위에도 말했듯이 제가 비슷한 시기 비슷한 성격으로 개설해 놓은 블로그와 비교 가능했기에 "그건 아닌것 같다..."라고 결론을 내렸습니다.
3번의 가능성에 좀 더 무게를 두고 곰곰히 생각해 보았습니다. 혹시 블로그 개설 당시 작성했던 3~4개포스트가 문제가 있는 건 아닐까? 그 포스트들은 대부분 그시기의 뉴스 몇 개를 긁어와 게시해 놨기에 소위 말하는 '저품질 블로그'로 분류될 가능성에 대해 생각해 보았으나"이건 색인 문제다 색인도 안된 글이 유사 문서로 어떻게 구분 될 수 있나?"라는 결론을 얻었습니다. 하지만 개운치 않은 생각에 네이버 웹마스터 도구에서 검색 제외를 시키고 위의 글들을 비공개로 전환했습니다. 그리고 "몇 일 기다려 보자.." 그러나 역시나 3~4일이 지나도 색인은 작업은 이루어지지않았습니다. 그사이 새로 발행되는 글들은 여전히 수집은 되고 있었습니다.
이 후 네이버 고객센터에 위와 같은 사항이 있으니 좀 살펴 달라고 문의를 넣었습니다.
(네이버 검색 관련 누락 문제 카테고리) 이 색인 문제가 해결 될 때까지 하루 한번씩 문의할 생각 이었습니다. 한번 두번 세번.. 문의 횟수가 늘자 이 행위 또한 아무런 의미가 없음을깨닭았습니다.
네이버의 역습 "반전의 시작.."
어제 밤 '+topis.tistory.com'문구로 열심히 진짜 꼼꼼하게 검색해 보았습니다. 그동안은 색인 확인을 위해 'site:topis.tistory.com'라는 문구로 사이트 내 검색만 해왔습니다. 그래서 위의 검색어 앞에 '+'검색 옵션을 주었는데 이는 'topis.tistory.com'라는 문구가 반드시 포함하는 웹문서에 한해서 검색해 줍니다. 예상 이상으로 많은 문서가 검색되었습니다. 여기서 반전이 일어났습니다.
내가 올리지도 않은 'http://topis.tistory.com/22'라는 카페 문서가 발견되었습니다. 심지어 현재 'http://topis.tistory.com/22'라는 포스트는 '체크카드 추천! 한달에 4만원 돌려(캐시백)받기 2018'라는 제목으로 링크도 살아있습니다. 물론 제가 얼마 전 티스토리 블로그에 올린 포스트입니다.
방문해 보니 모 카페에 위와 같은 글이 있었는데 제목과 링크로 구성된 웹페이지였습니다. 이 글 자체도 놀라웠으나 여기서 눈에 뛰는 부분이 하나 또 있습니다. 바로 게시 날짜가 '2011년 10월 2일'이었습니다. 난 신을 찾지 않을 수가 없었습니다. ".....OH my god!!" 범죄 스릴러 영화의 한 장면처럼 제 머릿속에서는 '사건의 재구성'이 이루어 지고 있었습니다.
팩트(Fact)는 내가 사용한 'topis.tistory.com'는 "적어도 8년 전 누군가에 의해 사용되었다"라는 것입니다. 여기에 조금 상상을 더하여 가설 해 보면 저 도메인으로 8년 전 티스토리 운영 당시 문제 있는 블로그로 분류되어 검색에서 제외되었을 경우와 장기간 미 운영으로 인한 소위 '유령 사이트'일 가능성이 높아 네이버 검색 봇은 장기간 위 도메인을 포함하는 사이트와 링크 문서에 대해 신뢰성과 관련 최하로 분류해 놓지 않았을까?하는 합리적인 추측을 해 봤습니다.
이러한 결론에 이르자 블로그의 글들이 더 늘어나기 전 꼭 어떠한 초치를 해야만 할 것 같았습니다. 시간이 다 해결해 주길 바라는 막연한 기대는 더 이상 하지 않기로 했지요. 생각해 보세요. 최소 8년, 최대 몇 년 간 이었을지도 모르는 소위 '저품질 블로그'로의 낙인은 아무리 독창적이고 알찬 내용의 컨텐츠를 생산해 낸다 할 지라도 정상 블로그로 회복할 가능성이 낮아 보였으며 꼭 회복된다는 아무런 근거도 보장도 없습니다.
내가 택한 "응급 조치 1호"
어떻게든 이 문제가 해결하지 않는다면 네이버 검색 유입을 포기해야 했습니다. 그런데 위의 문제점 분석 차 참고 했던 글 내용 중에는 이런 내용도 있었습니다. 제법 긴 장문의 내용이었지만 정리하면 다음과 같다. "도메인을 변경하면 같은 내용 같은 사이트라고 할 지라도 다른 사이트로 인식한다."는 내용 입니다.
티스토리 1차 도메인(***.tistory.com)변경은 언젠가부터 사라졌습니다. 아직 포스트한 글의 개수가 20개 남짓이라 새로운 블로그를 추가해서 이사해 볼까 생각도 해 봤습니다. 그러나 위에 잠깐 언급했지만 제가 포스트한 글들 중 관련 키워드로 검색시 상위에 랭크한 글들이 꽤 됐음으로 이 부분을 놓치기 싫었습니다. 그리고 같은 내용의 블로그가 2개 존재하기 때문에 검색시 똑같은 내용의 글들이 중복으로 보여질 가능이 높았습니다. 이 문제는 새로운 블로그 개설(이사)후 기존 블로그를 폐쇄하면 해결될 것이나 다시 비슷한 랭크에 포지션된다는 보장이 없었습니다.
고민 끝에 새로운 2차 도메인(공인 도메인) 등록 후 티스토리 블로그와 연결해 주기로 했습니다. 하지만 문제는 새로 구매한 도메인으로 2차 도메인을 사용한다 하더라도 네이버 검색과 색인이 정상으로 이루어 질지에 대한 의문은 여전히 남아있었습니다.
고민 끝에 무료 도메인을 등록해 일단 적용 후 네이버 검색 반응을 살펴보자는 결론을 내렸습니다. 일단 무료 도메인 사이트에서 다음과 같은 'topis.ga'로 등록을 하고 티스토리와 연결해 주었습니다. 연결시 포트 포워딩(port forwarding)은 의미가 없다고 생각해 정상적인 DNS등록 방법으로 진행하였습니다. 티스토리에서는 CNAME 레코드 등록 방식을 권하고 있었으나 내가 이용한 무료 도메인 사이트 관리 기능에는 이 부분이 없었기에 위와 같이 A 레코드 등록(DNS 등록 서비스)을 한 것입니다. 위 2차 도메인 연결 작업으로 과연 네이버 검색엔진 색인에 성공할지 결과가 무척이나궁금하였습니다. 위 도메인 등록과 블로그 연결은 급한 마음에 순식간 진행했기에 도메인 뒤에 붙는 국가 코드 'GA'가 아프리카의 한 나라인 '가봉'의 공인 도메인 이라 것은 나중에나 알게 되었습니다.
어쨌던 'GA'도메인은 우리나라 말로 해석 시 '가다'의 '가'(go)를 표현해 주어서 탑이즈(탑이슈 - top information & software)가! 어감은 좋았습니다. 참고로 탑이슈라는 블로그 타이틀은 원래 이 블로그로 뉴스 서비스를 할 예정이었으나 이 글 초기에 말한 이유로 블로그 성격을 바꿔야만 했습니다. 여분의 블로그가 2~3개 더 있었지만 그나마 이 타이틀이 top information & software라는 수식어로 포장하기 좋았고 탑이즈보다는 조금도 탑이슈가 각인되기 쉽고 이러므로 도움 된다고 생각해 이렇게 정하게 된 것입니다. 그리고 무료 도메인 등록에 대한 정보는 다음 블로그 주제로 다루어 볼 계획이니 관심 있는 분은 찾아 보는 것도 좋을 것 같습니다. 포스트하면 바로 링크 걸겠습니다.
1차 도메인 각 검색 사이트 등록과 기존 도메인과의 문제
최종 도메인으로 잘 연결되는 것을 확인하고 일단 네이버 웹봇의 반응이 궁금했기에 네이버 웹마스터 도구부터 찾았습니다. 워낙 순식간에 진행한 일이라 관련 조치를 캡처해 놓지 않은게 좀 아쉽습니다. 일단 기존의 'topis.tistory.com'를 웹마스터 도구상에서 할 수 있는 모든 삭제 및 검색 관련 url을 예외에 두었습니다. 사이트(sitemap)맵 제거, RSS 제거, 웹 페이지 검색 제외 등('등' 이라고 표현했지만 이게 전부이다.)을 해 주고 최종 사이트를 연동 사이트 목록에서 삭제했다. 참고로 '웹 페이지 검색 제외'항목을 실행 할 때에는 메인루트 '/'와 각 포스트 '/01(시작 글)' ~ '/끝나는글'모두 일일이 제외 시켰습니다. 그리고 'www.topis.ga'를 새로운 사이트 등록 후 새로 작성한 사이트맵과 RSS를 제출하고 각각의 웹페이지 수집 요청을 하였습니다. 이제 다음 웹네이버 검색 웹봇 방문만 기다리면 됩니다.
다음(daum)의 경우 특별한 초치없이 변경된 도메인으로 모든 포스트가 자동으로 전환 되었고 우려했던 랭크에도 영항을 주지 않았습니다.
이제 남은 건 구글인데 제법 착실히 색인 돼 있는 포스트들을 포기해야 하는가?와 새 도메인으로 등록 시 중복 검색 노출 문제를 생각해 보지 않을 수 없었습니다. 구글 Search Console콘솔은 다음과 같이 방법으로 사이트 도메인 변경 시 색인도 같이 이전 되는 도구를 제공하고 있긴 합니다.
하지만 위 그림에서 보듯이 웹사이트에서 301 리디렉션(redirection)을 서버 사이드(server-side)에서 처리해 주어야만 이전 가능했습니다. 티스토리에는 설정 할 수 없는 관계로 이 기능을 이용 할 수 없었습니다. 참고로 이러한 포탈에서 제공하는 블로그들은 서버단에서 사용자에게 직접 처리 할 수 권한(최소한의 권한이라고 할지라도)은 보안상 문제 등으로 앞으로도 제공하지 않을 것입니다.
관련 문서를 참고 자바스크립트 location 리디렉션 관련해 다음의 코드도 사용해 보았다.
<script type="text/javascript">
// url 리디렉션
var url1 = 'topis.tistory.com';
var urlgo = 'www.topis.ga';
var online = document.URL;
if(online.match(url1)) document.location.href = online.replace(url1, urlgo);
</script>
<head> 태그 내에서 처리 가능한 Meta 태그 리디렉션도 사용해 보았으나
<meta http-equiv="Refresh" content="0; URL=http://www.topis.ga">
소용 없었습니다. 위에 살펴본 문서들에서는 이것을 302 일시적(temporary) 리디렉션 방법이라고 설명하고 있습니다.
결론은 기본 색인은 포기 해야만 했습니다. 대신에 대표 url을 명시해주는
<link rel="canonical" href="http://www.topis.ga" />
위의 태그만 <head> 태그 안에 넣어주었습니다. 그리고 네이버와 마찬가지로 구글 Search Console 내에서 삭제 가능한 모든 색인 관련 sitemap, url삭제 등을 해주었습니다.
그리고 새 도메인 'www.topis.ga'으로 사이트 속성을 추가하여 'topis.tistory.com'을 연결해 주고 사이트맵만 등록해 주었습니다. Fetch As Google로 색인 요청을 할까 생각도 해 보았는데 네이버와는 달리 기존의 블로그의 색인이 아직 존재하는 바 중복 검색 될 것을 우려 이 부분은 해 주지 않았습니다. 차후 기존의 색인이 삭제 처리되면 Fetch As Google을 통해 색인 요청을 해 줄 계획이었습니다.
지금 까지의 작업들은 어제(08.22) 밤 약 9시부터 다음날(08.23) 새벽 4시 까지 일어났던 일로써 2차 도메인 등록과 관련 검색엔진과 웹페이지에 취한 조치 들입니다. 짧은 시간 참 많은 고민과 선택을 해야 했으므로 몸은 녹초가 되었습니다. 약간의 시간 눈을 붙인 후 오전 9시 경 일어나 제일 먼저 네이버 검색 창을 띄웠습니다. 'site:www.topis.ga'별 기대는 안 했지만 순간 기적이 일어났습니다.
이럴 수가! 거짓말 같이 그동안 끙끙 알았던 모든 모든 문제가 해소 되었고 등록된 모든 글들이 검색 목록에 보였습니다.
이제 구글 차례입니다.
다시 한번 신을 찾지 않을 수가 없었습니다. OH! my GOD~~! 기존 색인 그대로 새로 등록한 'www.topis.ga'로 색인되어있었습니다. 색인 요청을 따로 하지 않았았지만 비교적 빠른 시간 내 검색되는 걸 보니 기존 블로그의 색인을 그대로 물려 받은 것 같습니다. 구글 검색봇은 계정의 주인이 같고 글 내용이 같을 시 같은 사이트라 판단하고 별도 색인 과정 없이 도메인만 바꿔 검색에 반영하는 듯 합니다. 제법 똑똑하죠.
마치면서...
수 시간 전 구글과 네이버에서 최상위 url '/'만 다시 색인 요청을 해둔 상태로 이 글을 쓰고 있습니다. 그동안 이 네이버 검색에서 색인이 안되는 문제로 남모를 속앓이를해야했습니다. 정성 들여 올린 글들이 검색엔진에서 색인조차 되지 않는다면 누군들 속상하지않겠습니까? 아직 구글이나 네이버 모두 색인이 반영된 지 얼마 되지 않아 앞으로 계속 지켜봐야 하겠으나 이 글로 저와 비슷한 상황을 겪고 있는 모든 분께 희망을 드리며 다수의 이용자가 사용하는 포털사 블로그 개설 시 "꼭 쉬운 도메인네임(1차 도메인)이 좋은 것만은 아니다"라는 교훈을 남기며 이 글을 마칩니다.
댓글