구글 서치 콘솔의 페이지 색인 생성에서 ‘NOINDEX’ 태그에 의해 제외되었습니다 ("Excluded by ‘noindex’ tag) 문제로 특정 페이지들이 색인에서 제외되는 경우가 있습니다. 이 메시지는 구글이 해당 페이지를 크롤링할 때 robots meta 태그에서 'noindex'를 발견했기 때문에 색인(인덱싱)에서 제외되었다는 것을 의미합니다.
워드프레스의 경우 일부 페이지들은 의도적으로 noindex 태그가 추가되어 색인에서 제외됩니다. 만약 정상적인 페이지나 포스트 URL이 'noindex' 태그에 의해 제외되어 색인이 되지 않는 경우에는 robots 메타 태그를 변경하거나 noindex 태그를 삭제해야 합니다.
워드프레스: ‘NOINDEX’ 태그에 의해 제외되었습니다 문제가 발생하는 경우 해결 방법
noindex 태그는 구글 등 검색엔진에게 특정 웹페이지를 색인하지 않도록 지시하는 기능을 합니다. 검색 결과에서 해당 페이지가 표시되지 않도록 하려는 경우 유용할 수 있습니다.
페이지에 NoIndex 태그가 있으면 구글 검색 콘솔의 상태 보고서에 ‘NOINDEX’ 태그에 의해 제외되었습니다 메시지가 표시됩니다.
사용자들이 해당 페이지를 검색할 수 있도록 하려면 noindex 태그를 삭제해야 합니다. 하지만 일부 페이지들은 의도적으로 noindex로 설정되어 있습니다. 그런 경우에는 무시하시면 됩니다.
이 블로그의 경우 구글 서치 콘솔의 페이지 색인 생성 섹션에 ‘NOINDEX’ 태그에 의해 제외되었습니다 상태인 페이지가 2000개 이상입니다.😄
임베드 페이지와 피드 페이지
예시를 살펴보면 대부분 /embed/와 /feed/로 끝나는 URL들입니다.
/embed/로 끝나는 URL은 해당 포스트를 임베드할 때 표시되는 페이지 같습니다.
이 임베드 페이지의 페이지 소스를 살펴보면 다음과 같이 noindex 태그가 추가되어 있는 것을 확인할 수 있습니다.
<meta name='robots' content='noindex, follow' />
그리고 임베드되는 페이지에는 Canonical Url(대표 URL)도 지정되어 있습니다.
이러한 임베드 페이지는 색인되지 않는 것이 바람직한 것 같습니다. 만약 임베드 페이지가 색인되도록 하고 싶은 경우에는 사용하는 SEO 플러그인 개발자에게 문의할 수 있을 것입니다. 예를 들어, Rank Math SEO 플러그인에서는 "Noindex, follow for embed posts" 포럼 글에서 다음과 같은 코드를 제시하고 있습니다.
add_filter( 'rank_math/frontend/robots', function( $robots ) {
if(is_embed()){
$robots["index"] = 'index';
$robots["follow"] = 'follow';
}
return $robots;
});
Rank Math를 사용하는 경우 상기 코드를 차일드 테마의 함수 파일(functions.php)에 추가한 후에 임베드 페이지에 index 태그가 추가되는지 체크해보시기 바랍니다.
/feed/로 끝나는 URL은 해당 글의 피드 페이지이며 페이지 소스를 살펴보면 robots 메타 태그가 추가되어 있지는 않습니다. 아마 워드프레스 자체 기능에 의하여 noindex 태그가 추가되지 않았을까 싶습니다. 또는, SEO 플러그인에 의하여 추가되었을 수도 있을 것입니다.
임베드 페이지와 피드 페이지들이 noindex 태그에 의해 색인에서 제외되는 문제는 무시하면 될 것 같습니다.
이외에도 /?s=검색어/ 페이지들도 검색에서 제외됩니다.
정상적인 페이지가 색인에서 제외되는 경우
검색엔진에 색인되어야 하는 페이지나 게시글의 URL이 ‘NOINDEX’ 태그에 의해 제외되는 경우에는 원인을 파악하여 noindex 태그를 제거해야 합니다.
전체 사이트에서 문제가 나타나는 경우
사이트 전체에서 이 문제가 나타나는 경우 설정 » 읽기 » 검색 엔진 가시성에서 "검색 엔진이 이 사이트를 검색하는 것을 차단" 옵션이 체크되어 있다면 해제하시기 바랍니다.
이 옵션이 체크되어 있으면 모든 페이지에 noindex 태그가 추가되어 검색엔진에 의해 색인이 되지 않습니다. Rank Math SEO나 Yoast SEO와 같은 SEO 플러그인이 설치되어 있다면 이 옵션이 체크된 경우 경고가 표시될 것입니다.
SEO 플러그인의 설정에서 noindex를 추가하도록 설정한 경우
Yoast SEO 등 SEO 플러그인에서 페이지, 글, 특정 커스텀 포스트 타입 글, 카테고리 페이지, 태그 페이지, 글쓴이 페이지 등에 대하여 검색엔진에 노출되도록 할 것인지 여부를 지정하는 옵션이 제공됩니다.
카테고리 페이지나 태그 페이지 등 아카이브 페이지는 경우에 따라 의도적으로 noindex를 추가하여 검색엔진에 노출되지 않도록 설정할 수도 있습니다.
만약 아카이브 페이지에 noindex 태그를 추가하였고, 해제하고 싶다면 SEO 플러그인에서 검색이 가능하도록 다시 설정하시기 바랍니다.
SEO 플러그인이 설치되어 있다면 개별 페이지나 포스트에서 noindex 태그를 추가하도록 설정하는 것도 가능합니다. 특정 페이지/포스트에 noindex 태그가 추가되었다는 경고가 표시되는 경우 해당 페이지/포스트에 대하여 SEO 플러그인에서 noindex가 추가되지 않았는지 체크해보시기 바랍니다.
헤더에 robots 메타 태그를 추가한 경우
간혹 WPCode와 같은 Head & Footer Code 플러그인을 사용하여 헤더에 로봇 메타 태그를 추가하는 경우도 있습니다.
해당 플러그인을 사용하여 헤더 섹션에 noindex 태그가 추가되지 않았는지 체크해보시기 바랍니다.
또한, 테마 함수 파일을 통해서도 noindex 태그가 헤더 섹션에 추가될 수 있습니다. FTP를 통해 서버에 접속하여 /wp-content/themes/테마_이름/ 폴더로 이동하여 함수 파일에 추가된 코드를 검토하여 문제가 되는 코드가 있는지 살펴보세요. FTP 접속 방법을 다음 글을 참고해보세요.
실제 폴더 이름은 테마에 따라 다릅니다. 예를 들어, 아바다 테마의 경우 /wp-content/themes/Avada/ 또는 /wp-content/themes/Avada-child/와 비슷할 수 있습니다. (차일드 테마를 사용하여 코드를 추가해야 추후에 테마 업데이트 시에 코드가 사라지지 않습니다.)
robots.txt 파일에 의하여 검색 결과에서 제외되는 경우
robots.txt 파일에 특정 폴더의 URL들이 검색엔진에 노출되지 않도록 규칙이 추가될 수 있습니다.
이 경우에는 구글 검색 콘솔에서 "robots.txt에 의해 차단됨" 상태가 표시될 것입니다.
robots.txt 설정에 대한 자세한 내용은 다음 글을 참고할 수 있습니다.
마치며
구글 서치 콘솔에서 페이지 색인 생성 문제가 감지됨 에러가 표시되면서 많은 페이지가 여러 가지 사유로 색인이 안 될 수 있습니다.
대부분은 무시할 수 있지만, 정상적인 페이지에 대하여 이런 문제가 발생하는 경우에는 문제의 원인을 파악하여 해결해야 할 수 있습니다.
티스토리의 경우 세부적으로 robots 태그를 제어할 수 없고 robots.txt 파일을 수정할 수 없습니다. 티스토리 사용자들은 서버에 대한 접근 권한이 없기 때문에 이런 오류에 대하여 별다른 조치 방법이 없으므로 무시하면 될 것 같습니다.
댓글 남기기