워드프레스에 클라우드플레어 적용 후 robots.txt 리디렉션 문제

Last Updated: 2024년 08월 30일 댓글

이 워드프레스 블로그에는 클라우드플레어(Cloudflare)를 한동안 적용하지 않았지만 지금 금요일부터 5일 연속 대규모 디도스(DDoS) 공격을 당하면서 보안을 위해 Cloudflare를 사용하여 도메인을 연결했습니다.

우연히 robots.txt 경로에 접속하였다가 크롬 브라우저에서 ERR_TOO_MANY_REDIRECTS 오류가 발생하는 것을 알게 되었습니다. 클라우드플레어 적용 후 "리디렉션한 횟수가 너무 많습니다" 오류가 발생하는 경우 해결 방법에 대하여 살펴보겠습니다.

워드프레스에 클라우드플레어 적용 후 robots.txt 리디렉션 문제

디도스 공격으로 Cloudflare 활성화

저는 10년 가까이 여러 개의 블로그를 운영해오면서 최근 처음으로 디도스 공격을 경험했습니다. 그것도 하루 이틀이 아닌 5일 연속으로 공격이 이루어졌으며, 4차 공격 때에는 거의 하루 종일 공격이 지속되었습니다.

다행히 클라우드플레어(Cloudflare) 활성화 후 도메인을 연결하고 클라우드웨이즈에서 공격 IP 주소를 차단하고 서버 크기를 늘려서 겨우 방어할 수 있었습니다.

Cloudflare 적용 후 robots.txt에서 리디렉션 오류 발생

우연히 이 사이트의 robots.txt에 접근했다가 구글 크롬 브라우저에 "리디렉션한 횟수가 너무 많습니다. ERR_TOO_MANY_REDIRECTS" 에러가 표시되는 것을 발견하고 깜짝 놀랐습니다.😥

robots.txt 파일에 오류가 발생 시 구글 서치 콘솔이나 네이버 서치 어드바이저에서 에러가 표시될 수 있습니다. 저는 이 문제를 빨리 발견해서 그런지 다행히 구글 검색 콘솔에서 크롤링 섹션의 robots.txt에 대하여 오류가 발생하지는 않았습니다.

Cloudflare에 도메인을 연결한 후 robots.txt 경로에 접속 시 너무 많은 리다이렉트 오류가 발생하는 문제에 대하여 Cloudflare 커뮤니티 글 "Robots.txt 301 redirect loop"에서 해결법이 제시되어 있습니다.

SSL/TLS 모드가 "Flexible (가변)"로 설정될 경우 어떤 이유로 인해 robots.txt 파일에 대하여만 https를 요청해도 Edge 레벨에서 http로 강제로 리디렉션되어 이런 문제가 발생할 수 있다고 합니다. 즉, https → http → https ...로 무한 리디렉션이 일어나면서 너무 많은 리디렉션이 발생하게 되는 것으로 보입니다.

클라우드플레어에 4개의 도메인을 연결했는데, 이 중 두 개 사이트에서 이 문제가 발생했습니다. 워드프레스 플러그인이나 .htaccess 파일을 통해 http 트래픽을 https로 리디렉션하도록 설정하는 경우 이 문제가 발생하는 것이 아닐까 추정됩니다.

이 문제가 발생하는 경우 SSL/TLS Encryption 모드를 "Flexible"에서 "Full (strict)"로 변경하면 문제가 해결될 것입니다.

클라우드플레어는 한국어도 지원합니다. 한국어 버전으로 설정한 경우 SSL/TLS 암호화 모드를 "가변"에서 "전체(엄격)"로 변경하도록 합니다.

잠시 기다리면 ERR_TOO_MANY_REDIRECTS 에러가 사라질 것입니다.

프록시 활성화로 인한 너무 많은 리디렉션 횟수 문제

서브 도메인이 설정되어 있다면 Cloudflare를 적용한 후에 각 서브 도메인에 연결된 사이트를 방문하여 사이트가 이상 없이 작동하는지도 확인하는 것이 안전한 것 같습니다.

저는 GTranslate 유료 요금제에 가입하여 이 블로그를 일본어로 자동 번역하도록 설정했습니다. Cloudflare에 도메인을 연결한 후에 일본어 버전에서도 리디렉션 오류가 발생하는 것을 발견했습니다.

이 문제는 Proxy statusProxied로 설정되어 나타나는 현상이었습니다. DNS only로 변경하여 프록시를 해제하니 문제가 해결되었습니다.

참고


댓글 남기기

Leave a Comment