워드프레스에서 robots.txt 오류가 발생하는 경우

robots.txt 파일에는 검색엔진 봇이 접근할 수 있는 웹 페이지와 접근할 수 없는 웹 페이지에 대한 지침이 포함되어 있습니다. 이 파일은 구글, 네이버 등과 같은 검색엔진의 웹 크롤러와 가장 밀접한 관련이 있습니다.

카페24를 사용하는 워드프레스 사이트에 대하여 네이버 서치어드바이저에서 robots.txt 오류가 발생하는 경우 카페2에서 기본적으로 설치하는 NinjaFirewall (WP Edition) 보안 플러그인이 원인일 수 있습니다.

워드프레스에서 robots.txt 오류가 발생하는 경우

robots.txt 파일은 여러 가지 방법으로 생성할 수 있습니다.

robotst.txt 파일을 만들어서 워드프레스가 설치된 루트 디렉터리로 업로드하거나
Rank Math SEO 등 SEO 플러그인을 사용하는 경우 SEO 플러그인에서 robots.txt 파일이 자동으로 생성됩니다.
WP Robots Txt와 같은 플러그인을 사용할 수 있습니다.

저는 robots.txt 파일을 직접 만들어서 서버에 업로드하였습니다. Rank Math SEO 플러그인을 사용하는 경우 robots.txt 파일을 만들지 않아도 플러그인에서 자동으로 생성합니다.

랭크 매쓰가 설치되어 있으면 Rank Math SEO » 일반 설정 » Robots.txt 편집에서 robots.txt 파일을 편집할 수 있습니다.

기본적으로 robots.txt 파일에 다음과 같은 내용이 포함되어 있습니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

직접 robots.txt 파일에 들어갈 내용을 추가하여 편집할 수 있습니다. robots.txt 파일을 통해 특정 URL이 색인되지 않도록 차단하거나, 챗GPT 봇 등 원치 않는 봇의 접근을 차단할 수 있습니다.

오픈AI 웹크롤러 'GPT봇' 차단 방법

robots.txt 파일이 유효하지 않은 경우 구글의 "robots.txt가 유효하지 않음" 문서를 참고하여 오류를 해결할 수 있습니다.

검색엔진이 robots.txt 파일에 접근할 수 없는 경우

검색엔진이 robots.txt 파일에 접근할 수 없는 등의 에러가 발생한다면 웹 방화벽이나 보안 플러그인이 문제의 원인일 수 있습니다.

네이버 서치어드바이저의 간단체크 섹션에서 robots.txt 항목에 대하여 "네이버 검색로봇이 사이트에 접근해 정보를 수집할 수 있습니다" 진단 결과가 표시되어야 합니다.

카페24의 매니지드 워드프레스 호스팅을 이용하는 경우 수익화에 유리한 테마와 플러그인이 자동으로 설치될 수 있습니다. GeneratePress 테마가 기본적으로 설치되고, Disable XML-RPC-API, EWWW Image Optimizer, Head & Footer Code 등을 포함하여 다양한 플러그인이 설치됩니다.

NinjaFirewall 플러그도 설치되는데, 이 플러그인이 최근 업데이트되면서 robots.txt 파일이 네이버 서치어드바이저에서 차단되는 문제가 발생하고 사이트가 느려지는 현상이 발생한다고 한 사용자가 네이버 카페를 통해 알려주었습니다.

robots.txt 파일 문제가 발생하는 경우 보안 플러그인(방화벽 플러그인)을 비활성화하여 문제가 해결되는지 체크해보시기 바랍니다.

NinjaFirewall 플러그인이 문제를 일으키는 경우 Wordfence 등 다른 보안 플러그인으로 대체하는 것을 고려할 수 있습니다.

또한, 카페24에서 robots.txt?ckattempt=1, robots.txt?ckattempt=2 등과 같은 오류가 발생하는 경우에는 카페24의 웹 방화벽이 원인일 수 있습니다. 카페24의 웹방화벽과 스팸쉴드를 비활성화한 후에 문제가 재발하는지 확인하시기 바랍니다.

클라우드웨이즈에서 사이트맵, robots.txt 파일 등이 캐시되지 않도록 예외 설정하기

워드프레스 사이트가 클라우드웨이즈(Cloudways)에서 호스팅되는 경우 애플리케이션 관리 페이지에서 Varnish 예외 설정을 하여 사이트맵(sitemap.xml 또는 sitemap_index.xml), ads.txt, robots.txt, feed 등이 캐쉬되지 않도록 예외 설정을 해주면 도움이 됩니다.

사이트맵이 업데이트가 안 되는 경우에도 이 조치를 취해 문제를 해결할 수 있습니다. Breeze 캐시 플러그인을 사용하는 경우 Breeze 내에서 특정 URL이 캐시되지 않도록 설정하는 것도 가능합니다. 저는 Breeze 내에서 설정하고 클라우드웨이즈의 애플리케이션 설정에서도 예외 설정을 했습니다.

자세한 방법은 "클라우드웨이즈에서 애드센스 ads.txt 파일을 찾을 수 없는 문제가 발생하는 경우"의 "Varnish 설정에서 예외 설정하기" 섹션을 참고해보세요.

WP Rocket 등 다른 캐시 플러그인을 사용하는 경우 해당 캐시 플러그인에서 캐시 제외 설정을 할 수 있습니다.

여러 조치에도 robots.txt 문제가 해결되지 않는 경우 웹호스팅 업체에 연락하여 문제를 상의해보시기 바랍니다. 서버의 방화벽 등에 의해 robots.txt 접근이 차단되는 경우가 있을 수 있습니다.

워드프레스에서 robots.txt 오류가 발생하는 경우

검색엔진이 robots.txt 파일에 접근할 수 없는 경우

클라우드웨이즈에서 사이트맵, robots.txt 파일 등이 캐시되지 않도록 예외 설정하기

참고

2 개 댓글

Leave a Comment 응답 취소