워드프레스 가상 Robots.txt 플러그인
FTP 접속이 불가능하거나 액세스에 어려움을 겪는 경우 Virtual Robots.txt 플러그인을 사용하면 쉽게 워드프레스 사이트를 위한 robots.txt 파일을 생성하여 관리할 수 있습니다. FTP, 퍼미션 등에 대해 신경 쓸 필요 없이 플러그인을 설치하여 활성화하면 됩니다.
워드프레스 가상 Robots.txt 플러그인
FTP에 접속하여 robots.txt 파일을 생성하고 수정하는 데 어려움을 겪는 경우 가상 Robots.txt 파일을 생성하는 Virtual Robots.txt 플러그인을 사용해볼 수 있습니다.
이 플러그인은 워드프레스 대시보드에서 설치가 가능합니다. 플러그인 > 새로 추가로 이동하여 "Virtual Robots.txt"를 검색하여 설치할 수 있습니다.
이 플러그인을 활성화하였다면 설정 > Virtual Robots.txt에서 Robots.txt 파일을 수정할 수 있습니다.
이 플러그인을 활성화하면 기본적으로 구글 같은 봇이 접근해야 하는 경로에 대해서는 접근을 허용하고 나머지 부분에 대한 접근은 차단합니다. 그리고 이 플러그인이 사이트에 있는 XML sitemap 파일을 감지하면 robots.txt 파일에 자동으로 추가합니다.
자동으로 생성된 robots.txt 파일을 그대로 사용해도 되고, 원하는 경우 편집할 수 있습니다. 하지만 Yoast SEO의 사이트맵을 자동으로 감지하지 못하는 것 같습니다.
By default, the virtual robots.txt is set to block WordPress files and folders that don’t need to be accessed by search engines. Of course, if you disagree with the defaults, you can easily change them.
기본적으로 이 가상 robots.txt은 검색엔진이 접근할 필요가 없는 워드프레스 파일과 폴더를 차단하도록 설정되어 있습니다. 물론, 초기 값이 마음에 들지 않으면 쉽게 변경할 수 있습니다.
참고로 서브 디렉터리에 워드프레스가 설치된 경우에는 작동하지 않습니다. 이것은 robots.txt파일이 루트 디렉터리에 존재해야 하기 때문입니다.
그리고 멀티사이트에서는 작동을 테스트하지 않았다고 합니다. 멀티사이트에서 서브 디렉터리 방식으로 사이트를 추가하는 경우 이 플러그인은 제대로 작동하지 않습니다.
(웹호스팅) 서버에 물리적인 robots.txt 파일이 존재하는 경우 요청을 무시하므로 충돌이 발생하지 않습니다. 또한, 이 플러그인은 개별 포스트, 페이지, 카테고리 등을 변경하지 않습니다.
참고로 WordPress.com에서 가입하여 사용하는 가입형 워드프레스의 경우 robots.txt가 자동으로 생성되며 어떤 식으로든 편집할 수 없다고 합니다. 다만, 비즈니스 요금제를 사용하는 경우 플러그인 설치가 가능하므로 이 플러그인을 설치하여 robots.txt 파일을 편집할 수 있는 지 테스트해보시기 바랍니다.
마치며
이상으로 FTP 접속이 용이하지 않는 상황에서 Robots.txt 파일을 생성하여 편집할 수 있는 가상 Robots.txt 플러그인에 대해 살펴보았습니다.
Robots.txt 파일은 검색엔진에게 액세스하여 색인을 생성할 사이트 내의 페이지와 색인을 생성해서는 안 되는 페이지를 알려주는 기능을 하며 SEO(검색엔진최적화)에 매우 중요합니다.
FTP에 접속이 가능한 경우 가능한 경우 플러그인을 사용하는 것보다 직접 robots.txt 파일을 만드는 것이 더 바람직할 것 같습니다. (플러그인을 사용하면 편리하지만 가급적 플러그인 사용은 최소화하는 것이 좋습니다.)