구글 서치 콘솔에 워드프레스 사이트맵을 제출할 때 다양한 오류가 발생할 수 있습니다. 사이트맵 제출 직후 "가져올 수 없음" 에러가 표시될 수 있지만, 보통 이는 일시적인 오류로 시간이 지나면 사라집니다. 하지만 "일반 HTTP 오류"로 인해 사이트맵을 읽을 수 없는 문제가 발생하고 오류가 사라지지 않는 경우가 있을 수 있습니다. 워드프레스에서 이 오류가 발생하는 상황에서 확인해야 할 점에 대하여 살펴보겠습니다.
구글 서치 콘솔에서 사이트맵 제출 시 "일반 HTTP 오류"가 발생하는 경우 해결 방법
워드프레스에서는 기본 사이트맵이 제공되지만, Yoast SEO, Rank Math, AIO SEO와 같은 SEO 플러그인을 설치하여 사이트맵을 활성화하면 기본 사이트맵이 SEO 플러그인의 사이트맵으로 대체되고 사이트맵 주소도 변경됩니다.
사이트맵 주소
워드프레스 버전 5.5에서 새로운 XML 사이트맵이 도입되었습니다. 이전에는 SEO 플러그인의 사이트맵을 이용하거나 사이트맵 전용 플러그인을 사용해야 했지만, 이제는 SEO 플러그인이 없어도 사이트맵이 지원됩니다.
기본 사이트맵 주소는 /wp-sitemap.xml입니다. 자세한 사항은 "New XML Sitemaps Functionality in WordPress 5.5" 문서를 참고할 수 있습니다.
SEO 플러그인을 설치하면 기본적으로 사이트맵 기능이 활성화하며 사이트맵 주소는 설치된 SEO 플러그인에 따라 변경됩니다.
구글이나 네이버에 사이트를 등록할 때 올바른 사이트맵 주소를 제출하시기 바랍니다.
사이트맵 제출 직후 '가져올 수 없음' 오류
구글 검색 콘솔에서 사이트맵을 제출하면 "가져올 수 없음" 상태가 표시될 수 있습니다.
일반적으로 이 문제는 일시적이며 시간이 지나면 사라지므로 신경쓰지 않아도 됩니다.
하지만 상태가 "성공"으로 바뀌지 않고 오류가 지속된다면 원인을 찾아서 조치를 취해야 합니다. 다음 글에서 제시하는 방법으로 해결이 되는지 시도해 볼 수 있습니다.
일반 HTTP 오류
일반 HTTP 오류로 인해 사이트맵을 읽을 수 없는 오류가 발생할 수 있습니다.
최근 클라우드웨이즈(Cloudways)에서 호스팅된 워드프레스 사이트에서 아래와 같이 post-sitemap.xml 파일에 대하여 오류가 발생하는 문제의 해결을 맡은 적이 있습니다.
해당 하위 사이트맵 파일을 클릭하면 아래와 같이 "사이트맵을 읽을 수 없음" 경고가 표시되었습니다.
일반 HTTP 오류로 "사이트맵에 액세스하는 중에 오류가 발생했습니다. 사이트맵이 지정된 주소에 있고 Google에서 차단되지 않았는지 확인하세요" 안내 문구가 표시되었습니다.
일반 HTTP 오류의 원인
구글 서치 콘솔에서 사이트맵을 제출할 때 "일반 HTTP 오류"(General HTTP Error)가 발생하는 주된 이유는 구글이 사이트맵 파일에 정상적으로 접근하지 못하거나, 서버에서 올바른 응답을 받지 못하기 때문입니다.
- 잘못된 사이트맵 URL
사이트맵 주소가 잘못 입력되었거나 존재하지 않는 경우, 구글은 HTTP 404(찾을 수 없음) 오류와 함께 "일반 HTTP 오류" 오류를 반환합니다. - 서버 접근 제한
서버의 .htaccess 또는 robots.txt 파일에서 구글봇의 접근을 막는 설정이 있으면 사이트맵을 읽을 수 없습니다. 불필요한 Disallow 규칙 등이 원인이 될 수 있습니다. - 서버 내부 오류 (HTTP 500 오류)
서버가 일시적으로 과부하 상태이거나, 서버 내부 오류(HTTP 500 등)가 발생하면 구글이 사이트맵을 정상적으로 가져오지 못하여 오류가 발생할 수 있습니다. - 잘못된 Content-Type 헤더
서버가 사이트맵 파일을 올바른 Content-Type(application/xml)으로 제공하지 않으면 구글이 파일을 정상적으로 해석하지 못하여 이 에러가 발생할 수 있다고 합니다. - 사이트맵 파일의 문법 오류
사이트맵 XML 파일에 문법적 오류(태그 누락, 잘못된 인코딩 등)가 있으면 구글이 파일을 읽지 못하고 오류를 반환할 수 있습니다. - 일시적인 구글 서버 문제
때로는 구글 서치 콘솔 자체의 일시적인 문제나 지연 때문에 오류가 발생할 수 있습니다. 이 경우 시간이 지나면 자동으로 해결될 것입니다.
일반 HTTP 오류가 발생할 경우 확인 사항
워드프레스의 기본 robots.txt 파일은 다음과 같은 코드로 되어 있습니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpYoast SEO를 사용하는 경우 robots.txt 파일은 다음과 같이 설정될 것입니다.
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK보통 robots.txt 파일을 건드리지 않아도 됩니다. 잘못 건드려서 구글봇이나 네이버봇 등을 차단하게 된다면 사이트가 검색엔진에 노출되지 않을 수 있습니다.
서버 내부 오류가 발생하여 문제가 되는 경우 디버그 모드를 활성화하여 어떤 오류 메시지가 표시되는지 확인할 수 있습니다. 오류 로그를 통해 HTTP 500 오류를 일으키는 원인을 파악할 수 있습니다. 별다른 오류 메시지가 표시되지 않는 경우에는 오류의 원인을 찾는 것이 어려울 수 있습니다.
클라우드웨이즈 호스팅을 이용하는 경우 사이트맵, robots.txt, ads.txt, 피드 URL에 대하여 캐시 제외 요청을 하면 사이트맵 관련 오류가 사라질 수 있습니다.
Breeze가 아닌 WP Rocket이나 LiteSpeed Cache 등과 같은 다른 캐시 플러그인을 사용하는 경우에도 캐시 제외 섹션에서 사이트맵, robots.txt 등의 파일이 캐싱되지 않도록 설정할 수 있습니다.
구글 방문자가 갑자기 급감하는 경우에도 이런 조치를 취하고 한 달 정도 지나 방문자가 회복되는 사례들이 있습니다("구글 방문자가 급감하는 경우...").
Yoast SEO와 관련된 "Sitemap – General HTTP error" 포럼 글에 의하면 콘텐츠 유형에서 메가 메뉴 등 일반적이지 않은 콘텐츠 타입에 대해서는 검색엔진에 표시되지 않도록 해제하는 것이 바람직한 것 같습니다.
예를 들어, 유료 목차 플러그인인 Tocer(이전 명칭 "Fixed TOC)를 설치하면 Toc Settings라는 콘텐츠 유형이 추가됩니다. 이러한 콘텐츠 유형은 노출되어서는 안 되므로 글, 페이지, 포트폴리오 등 일반적으로 검색엔진에 노출되어야 콘텐츠 유형이 아닌 경우 검색엔진에 표시되지 않도록 해제할 수 있습니다.
또한, reddit 커뮤니티 글에 의하면 사이트맵을 구글 서치 콘솔에서 몇 차례 제거하고 다시 제출하면 문제가 해결되기도 한다고 합니다. 삭제하고 제출하고 하루 정도 지나서 문제가 해결되었다고 하는 분도 계시네요.
조치를 취했다면 조금 시간이 지난 후에 사이트맵을 삭제하고 다시 제출을 시도하면 문제가 해결될 수도 있을 것입니다. 기다려 보시기 바랍니다.
- 제출한 사이트맵의 URL이 정확한지 확인 (Yoast SEO와 Rank Math의 경우 /sitemap_index.xml임)
- 사이트맵 URL에 접속 시 사이트맵이 제대로 표시되는지 확인
- robots.txt, .htaccess 등에서 구글봇이 차단되고 있지 않은지 확인
- 서버 내부 오류가 발생하는 경우 원인은 찾아 제거
- 사이트맵, robots.txt 등을 캐시 플러그인과 서버 캐시에서 캐싱되지 않도록 제외 요청하기
- 색인되어서는 안 되는 콘텐츠 유형(예: 메가 메뉴 콘텐츠, Toc 콘텐츠 등)는 색인이 되지 않도록 해제
- 사이트맵을 GSC에서 여러 번 제거 및 다시 제출하면 문제가 해결되기도 함.
- 사이트맵을 제거하고 다시 제출한 후 하루 정도 기다려서 해결되는지 체크.
👉 여러 가지 조치에도 문제가 해결되지 않거나 다른 워드프레스 또는 웹호스팅 문제로 해결에 어려움을 겪는 경우 여기에서 서비스(유료)를 의뢰하실 수 있습니다.
일반 http 오류가 발생하는 문제로 고민했는데, 한 번 시도해보겠습니다.