구글과 네이버 검색결과에서 URL 삭제하기(페이지 수집 제외)

사이트의 특정 글이나 페이지를 삭제하는 경우 검색엔진에서 크롤링하지 않도록 요청할 수 있습니다. 구글의 경우 사이트의 URL을 일시적으로 차단 요청할 수도 있습니다. 구글 서치 콘솔과 네이버 서치 어드바이저에서 URL 삭제 요청하는 방법에 대하여 살펴보겠습니다.

구글과 네이버 검색결과에서 URL 삭제하기: 페이지 수집 제외 요청하기

네이버 서치 어드바이저에서 웹 페이지 검색 제외 요청하기

사이트 글이 삭제되었거나 어떤 이유로 검색에서 제외 요청을 하고 싶은 경우 네이버 서치 어드바이저(네이버 웹마스터 도구)에서 웹 페이지 수집 제외 요청을 할 수 있습니다.

네이버 서치 어드바이저에 로그인한 다음 요청 » 웹 페이지 검색 제외를 클릭하여 제외 요청 URL 입력에서 제외 요청할 URL을 입력하도록 합니다.

요청 횟수는 사이트별로 제한될 수 있으며, 최근 한 달 이내의 요청 결과만 제공한다고 합니다.

원본을 삭제하지 않거나, 검색 수집을 제한하지 않은 페이지는 검색 결과에서 다시 노출될 수 있으므로 원본 페이지를 삭제한 후에 이용하시기 바랍니다. (해당 페이지에 noindex 메타 태그를 추가하면 검색 결과에 다시 노출되지 않을 것입니다.)

원본 페이지 삭제 후 검색로봇이 삭제된 콘텐츠에 접근하려고 시도하면 웹서버에서 403 (Forbidden) 또는 404 (Not Found)와 같이 알맞은 HTTP 응답 코드를 반환하도록 조치해야 합니다. 콘텐츠를 삭제하면 404 Page Not Found 화면이 표시됩니다.

이 방법은 자신의 게시글 삭제 요청만 할 수 있으면 타 사이트의 게시글 삭제를 원하는 경우, 불법성 및 음란성, 개인정보 노출 관련 게시물(사이트)은 유해게시물 검색결과 신고를 통해 요청할 수 있습니다.

구글 서치 콘솔에서 사이트의 URL 일시 차단하기/URL 완전히 삭제하기

구글 서치 콘솔에서 URL 일시 차단 요청하기

글이나 페이지를 일시적으로 차단하려는 경우에는 구글 서치 콘솔에 로그인한 다음, 색인 » 삭제를 클릭하여 삭제 페이지를 표시합니다. 그런 다음, 새 요청을 클릭하여 일시적으로 URL 삭제 탭에서 일시적으로 차단할 URL을 등록할 수 있습니다.

이 방법으로 약 6개월 동안 Google 검색결과에서 URL을 차단하고 현재 스니펫과 캐시된 버전을 삭제할 수 있습니다.

이 도구는 다음의 경우에 사용해야 합니다.

• 소유 중인 구글 서치 콘솔 속성에 URL이 있고, 해당 URL을 구글 검색에서 신속하게 삭제해야 하는 경우: URL을 완전히 삭제하려면 추가적인 단계를 거쳐야 합니다.
• 민감한 콘텐츠를 삭제하여 페이지를 업데이트했으며 구글 검색 결과에 변경된 내용이 반영되기를 원하는 경우

하지만 다음의 상황에서는 이 도구를 사용해서는 안 됩니다.

• 소유하지 않은 속성의 페이지를 차단하려는 경우: 다른 사람이 소유한 속성에 포함된 페이지가 구글 검색 결과에 노출되지 않도록 하려면 "법적 사유로 인한 콘텐츠 신고" 페이지에서 해당 URL을 신고할 수 있습니다.
• 검색에서 URL이 완전히 삭제되도록 하고 싶은 경우: 이 도구는 약 6개월 정도 일시적으로 검색 결과에 표시되지 않도록 할 뿐이며 URL을 완전히 삭제하려면 이 프로세스의 일부로 삭제 도구를 사용합니다.
• 인터넷에서 콘텐츠를 삭제하려는 경우: 이 도구를 사용하면 구글 검색에서만 콘텐츠가 삭제됩니다.
• 다른 검색엔진의 검색 결과에서 삭제하려는 경우: 이 도구는 구글 검색 결과에서만 콘텐츠를 삭제합니다.
• 404 오류가 표시되는 오래된 페이지 등 쓸모없는 자료를 정리하고 싶은 경우
• 구글 설치 콘솔 계정에서 크롤링 오류를 해결하고 싶은 경우
• 사이트를 '처음부터 새롭게 시작'하고 싶은 경우
• 해킹된 사이트를 '오프라인'으로 전환하려는 경우
• 사이트를 올바른 '버전'으로 색인 생성하려는 경우

구글 검색결과에서 URL 완전히 삭제하기

위의 삭제 도구를 사용하면 URL이 6개월 정도 일시적으로만 삭제되며 다시 크롤링될 수 있습니다. 콘텐츠 또는 URL을 구글 검색에서 완전히 삭제하려는 경우 구글 문서에서 제시하는 방법으로 콘텐츠를 삭제하거나 비밀번호 등으로 액세스를 제한하거나 noindex 메타 태그를 추가할 수 있습니다. robots.txt를 통해 차단하는 메커니즘은 사용해서는 안 됩니다("사이트가 검색엔진의 검색결과에 표시되지 않도록 하는 올바른 방법" 참고).

위의 조치를 취한 다음, 삭제 도구를 사용하여 삭제 요청을 하면 다시 색인 생성이 되지 않을 것입니다. 위의 2번 항목에서 설명된 것처럼, 만약 콘텐츠를 삭제 조치하기 전에 삭제 도구로 일시적으로 삭제 요청을 했다면 차단 해제를 한 후에 다시 삭제 도구에서 삭제 요청을 하면 될 것 같습니다.

noindex 메타 태그의 한계 & 워드프레스에서 robots 메타 지정하기

특정 글이나 페이지를 완전히 삭제하거나 비밀번호로 액세스를 제한하지 않은 상태에서 검색엔진에 노출되지 않도록 하고 싶은 경우에는 noindex 메타 태그를 사용하여 페이지의 색인 생성을 차단할 수 있습니다. 이 방법으로 색인 차단을 하더라도 검색엔진에 노출될 수도 있습니다. 그러므로 구글에서는 이 방법이 다른 방법보다 안전하지 않다고 안내하고 있습니다.

워드프레스에서 Yoast SEO, All in One SEO, Rank Math 등의 SEO 플러그인을 사용하는 경우 개별 포스트/페이지에 대하여 noindex 메타 태그를 쉽게 추가할 수 있습니다. 예를 들어, Rank Math SEO 플러그인을 사용하는 경우 Advanced 탭의 Robots Meta 섹션에서 No index, Nofollow 등의 메타 태그를 지정할 수 있습니다.

참고

• 가치 없는 콘텐츠에 칼을 빼든 구글, 검색 알고리즘 업데이트
• 워드프레스 페이지와 글에 부제목 추가하는 방법