클라우드웨이즈로 서버를 이전한 이후에 구글 서치 콘솔에서 크롤링 평균 응답 시간이 급증하는 문제가 발생했습니다. 이 문제가 발생하는 경우 캐시 플러그인과 이미지 최적화 플러그인을 사용하여 사이트 최적화를 시도해보고, 문제가 해결되지 않으면 서버 리전 변경을 고려할 수 있습니다.
📍 클라우드웨이즈 가입 방법 (+ Cloudways 프로모 코드, 할인 쿠폰 코드)
구글 서치 콘솔 크롤링 통계 평균 응답 시간이 느린 경우
클라우드웨이즈로 서버 이전 후 크롤링 통계에서 평균 응답 시간 급증 문제 발생
구글 서치 콘솔의 설정 » 크롤링 » 크롤링 통계에서 크롤링 통계 보고서를 확인할 수 있습니다.
크롤링 통계 보고서에서는 다음과 같은 크롤링 정보가 표시됩니다.
- 총 크롤링 요청 횟수: 성공 여부와 상관없이 사이트의 URL에서 발생한 총 크롤링 요청 횟수
- 총 다운로드 크기: 특정 기간에 크롤링하는 동안 사이트에서 다운로드한 총 다운로드 크기(단위: 바이트)
- 평균 응답 시간: 특정 기간 동안 해당 사이트에서 가져온 모든 리소스에 대한 평균 응답 시간
크롤링 통계 보고서에 대한 자세한 정보는 구글 문서를 참조할 수 있습니다.
평균 응답 시간은 100ms 정도가 되어야 하며, 1,000ms에 가까워지면 구글봇이 해당 사이트에 대하여 이상적으로 크롤링할 수 있는 만큼 크롤링할 수 없다는 것을 의미한다고 합니다.
John recommends that the average response time in GSC crawl stats should be around 100ms. A response time closer to 1,000ms could mean Googlebot isn’t able to crawl as much of a site as it ideally would.
클라우드웨이즈(Cloudways)로 서버를 이전하고 몇 달 후에 크롤링 통계 보고서를 살펴보니 평균 응답 시간(Averate Reponse Time)이 4,000ms를 초과하여 너무 느려진 것을 발견했습니다.
이 문제에 대하여 클라우드웨이즈 고객센터에 라이브 채팅으로 문의하니 두 가지 조치를 권고했습니다.
- Beeze와 같은 워드프레스 캐시 플러그인의 기능을 사용하여 CSS, JS, HTML 경량화(Minify) 및 EWWW 최적화 플러그인을 사용한 이미지 최적화
- 사이트의 성능을 추가로 개선하기 위해 CDN 서비스 이용 고려.
또한, 클라우드웨이즈 담당자는 서버 관리 페이지의 Settings & Packages » Basic 탭에서 Execution Limit 및 Memory Limit 설정값을 늘려주었습니다.
하지만 이런 조치에도 문제가 해결되지 않았습니다.
이후에 Clearfy와 Breeze 캐시 플러그인으로 세부 튜닝하여 구글 서치 콘솔의 코어 웹 바이탈 문제를 해결했습니다.
그러나 여러 가지 노력에도 불구하고 마찬가지로 크롤링 평균 응답 시간은 떨어지지 않았습니다.
지나치게 느린 크롤링 평균 응답 시간 문제 해결
여러 가지 조치에도 크롤링 리포트에서 평균 응답 시간이 4000ms 이하로 떨어지지 않아서 서버 리전이 의심되었습니다.
서울 서버가 의심스러워서 저는 과감하게 Vultr 서울 리전에서 Linode 도쿄 리전으로 변경했습니다. Vultr 서울 리전과 Vultr 도쿄 리전에 대한 속도 문제를 리서치해보니 도쿄 리전도 속도가 빠르지만 유튜브/넷플릭스 영상 시청이 증가하는 저녁이나 주말에 ISP(인터넷 서비스 제공업체)에서 인터넷 속도를 저하시켜 사이트 로딩 속도가 느려질 수 있다고 합니다.
저는 도쿄 리전으로 변경한 후에 모니터링해보니 도쿄 리전으로 변경 직후에 평균 응답 시간이 500ms대로 떨어져 점진적으로 응답 시간이 낮아져서 지금은 300ms대까지 떨어졌습니다. (변경 직후에는 크롤링 보고서에서 확인되지 않고 며칠이 지나야 확인이 가능합니다.)
평균 응답 시간이 100ms 이하를 구글에서 권장하므로 아직도 높은 편이지만 4000ms 이상에서 300ms대까지 떨어져서 올바른 해결 방향이 아닐까 생각됩니다. 평균 시간이 점진적으로 하락하고 있으므로 어디까지 떨어질지 모니터링해 보려고 합니다.
조만간 PHP 8.3에 대한 지원이 추가된다면, PHP 8.3을 적용할 경우 응답 시간이 조금 더 개선되지 않을까 기대됩니다.
Vultr 서울 리전 서버를 사용하고 있고 크롤링 평균 응답 시간이 너무 높아서 신경이 쓰인다면, 서버 리전을 도쿄로 변경하는 것을 고려해볼 수 있을 것 같습니다.
클라우드웨이즈에서 서버 데이터 센터 위치를 변경하거나 요금제를 변경(요금제 다운그레이드)하는 방법에 대하여 다음 글을 참고할 수 있습니다.
마치며
SEO 문제가 발생하는 경우 점진적으로 영향을 미치는 것 같습니다. 어떤 조치를 취하더라도 당장에 효과가 나타나는 것이 아니라 해당 조치가 효과가 있는지 체크하는 데 시간이 걸리기 때문에 SEO(검색엔진 최적화) 문제는 해결이 쉽지 않을 수 있습니다.
Vultr 서버에서 크롤링 평균 응답 시간이 너무 높다고 한 사용자분이 알려주셔서 제 워드프레스 블로그에서도 비슷한 문제가 발생하는 것을 인지하게 되었습니다. 저는 여러 가지 조치 중에서 서버 지역을 서울에서 도쿄로 변경하여 어느 정도 해결할 수 있었습니다.
댓글 남기기