이전 글에서 다룬 방법대로 구글 서치콘솔에 도메인을 등록하고 사이트맵을 제출하면, 구글의 크롤러가 내 웹사이트를 방문하여 모든 글들을 읽어보고 구글 검색 결과에 반영되도록 인덱스 작업을 한다. 그걸 크롤링과 색인 생성이라고 한다. 보통은 구글이 자동으로 크롤링하고 색인을 업데이트하지만 정확한 방문 주기는 알 수 없다.
따라서 수동 색인 생성 요청 방법을 알면 구글이 자동 크롤링과 색인 생성을 잘하고 있는지 확인해볼 수 있고, 중요한 변경사항이나 긴급한 업데이트가 필요한 경우에도 활용할 수 있다.
1. 구글이 내 글을 크롤링하지 않는 이유
- 웹사이트의 robots.txt 파일에 크롤러에 대한 제한 규칙이 명시되어 있을 경우
- 웹페이지의 HTML 코드에 noindex 메타 태그가 포함되어 있을 경우
- 각 페이지의 HTML 코드에 있는 로봇 메타 태그에 따른 경우
- 콘텐츠의 품질이나 중복성이 높을 경우
- 웹마스터 도구 또는 검색 콘솔에서 특정 페이지를 크롤링하지 않도록 설정한 경우 등이 해당될 수 있다.
위와 같은 문제는 구글 서치 콘솔에서 보내오는 ‘NOINDEX 태그에 의해 제외되었습니다’등의 알림을 통해 확인할 수도 있고, 직접 일일히 내 웹사이트의 설정을 체크해봐야 할 수도 있다. 내 워드프레스 블로그 어딘가에 크롤링을 막아둔 설정이 있는지 모두 체크하는 방법과 해결하는 방법은 아래 글에 자세히 나와 있다.
2. 수동으로 크롤링 요청해야 하는 경우
위처럼 크롤링 활동을 막아둔 경우에 해당하지 않는다면, 또 구글 서치콘솔에 도메인과 사이트맵이 정상적으로 제출되었다면, 구글 크롤러가 방문하여 자동으로 색인을 업데이트한다. 다만 색인 업데이트에는 몇 시간 또는 며칠이 걸릴 수 있으며 그 정확한 방문 주기는 알 수 없다. 웹사이트에 새로운 페이지나 글을 추가했을 때, 또는 기존 페이지의 내용을 수정하거나 업데이트했을 때, 이 변경사항이 빠르게 반영되도록 수동 색인 생성요청을 통해 보다 빠르게 새로운 콘텐츠가 검색 결과에 나타나도록 할 수 있다.
3. 구글 서치콘솔 색인 생성 상태 확인하는 방법
구글 서치콘솔에 접속해 최상단에 위치한 검색창처럼 생긴 [URL 검사 입력 란]에 상태를 확인할 글의 주소를 입력하면 간단히 상태 검사가 가능하다. 사이트맵이 정상적으로 제출되었다면, 이후 업데이트한 글에 대해서도 ‘URL이 Google에 등록되어 있음’ 메시지와 함께 정상적으로 색인 생성이 된 상태임이 확인될 것이다.
색인이 생성된 글에 이후 변경 이력이 있다면, [크롤링된 페이지 보기]를 통해 해당 글의 크롤링된 모습을 확인할 수 있다. 이때 변경사항이 업데이트되지 않았을 경우, 수동으로 [색인 생성 요청]을 하게 된다.
4. 구글 서치콘솔 수동 색인 생성 요청 하는 방법
색인 생성 상태 체크를 위해 글 주소를 검사했을 때, 구글이 아직 한번도 크롤링하지 않은 글이면 ‘URL이 Google에 등록되어 있지 않음’ 메시지와 함께 색인이 생성되지 않은 상태임이 확인된다.
[크롤링된 페이지 보기]에 변경사항이 업데이트되지 않았거나, 위와 같이 크롤링되지 않은 페이지에 대해 수동으로 재크롤링을 요청하는 방법은 간단한다. [색인 생성 요청] 버튼을 클릭하기만 하면 된다.
‘실제 URL의 색인을 생성할 수 있는지 테스트 중’ > ‘요청 제출 중’ 이라는 내용의 팝업을 1~2분 정도 기다리면 아래와 같이 색인 생성 요청 완료 팝업이 뜬다. 확인 버튼을 클릭해 팝업을 닫으면 끝이다.
5. ‘속성에 URL이 없음’ 오류
[색인 생성 요청]을 했는데 ‘속성에 URL이 없음’ 오류창이 뜨는 경우가 있다. ‘현재 선택된 속성에서 URL을 검사하거나 속성을 전환하세요.’라는 안내가 덧붙여 있는데, 검색창에 입력한 속성값(내 블로그 주소) 자체가 틀렸을 경우에 일어나는 현상이다. 주소를 제대로 적었는지 확인해봐야 하는데, 보통 http/https 또는 www/non-www 차이가 문제인 경우가 많으므로, https://www를 아예 지우고 검사해보면 된다.
6. 구글 서치콘솔 수동 색인 생성 요청 걸리는 시간
수동 색인생성 요청 완료 후, 몇 분 뒤 다시 URL을 검사해보면 아래와 같이 정상적으로 색인 생성이 된 상태가 되어 있다. 실제 검색 결과 반영에는 1일 정도가 걸린다.
