워드프레스를 설치하면 robots.txt 파일이 동적으로 생성됩니다. robots.txt 파일의 내용을 수정하려는 경우 FTP에 접속하여 robots.txt 파일을 수동으로 만들 수 있습니다. 다른 방법으로 Yoast SEO, Rank Math 등 SEO 플러그인에서 제공하는 robots.txt 편집 기능을 사용하거나, Virtual Robots.txt나 WP Robots Txt와 같은 robots.txt 전용 플러그인을 설치할 수도 있습니다.
robots.txt 파일이란?
robots.txt 파일은 웹사이트의 루트 디렉터리에 위치하는 텍스트 파일로, 검색엔진 크롤러와 같은 자동화된 봇에게 사이트 내에서 크롤링이 허용되거나 제한되는 페이지와 디렉터리를 지정하는 역할을 합니다.
이 파일은 구글, 빙, 네이버 등 검색엔진이 불필요한 페이지를 크롤링하여 서버에 과부하를 주는 것을 방지하고, 중요한 페이지가 더 효율적으로 인덱스될 수 있도록 크롤링 영역을 관리하는 SEO 전략의 기반이 되기 때문에 매우 중요합니다.
주요 기능:
- 웹 크롤러(검색엔진 봇)가 접근 가능한 경로와 접근 불가 경로를 지정함
- 서버 트래픽 과부하 방지(불필요한 크롤링 제한)
- 특정 파일, 폴더 또는 페이지의 크롤링 허용/차단
- User-agent별 크롤링 규칙 적용(크롤러별 접근법 제어)
- 사이트맵 위치 안내 등 추가 정보 제공
- 이미지, 동영상, 리소스 파일 등의 검색엔진 색인 제외 가능
- 크롤링 속도 지연(일부 크롤러 지원) 및 트래픽 관리
참고로 robots.txt 파일에서 크롤링 속도 지연(crawl-delay)과 관련된 코드는 최근 구글 등 주요 검색엔진에서는 더 이상 공식적으로 지원하지 않으며, 실제로 대부분 무시하는 추세이므로 크롤링 속도 관리는 각 검색엔진의 관리도구를 활용하는 것이 적합합니다.
워드프레스의 기본 robots.txt 파일
워드프레스를 설치하면 기본적으로 다음과 같은 robots.txt 파일이 동적으로 생성됩니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml각 라인의 의미는 다음과 같습니다.
1. User-agent: *
- 의미: 모든 검색엔진 크롤러(구글봇, 빙봇 등)를 대상으로 아래 규칙을 적용한다는 뜻입니다.
- *는 와일드카드로, 특정 봇 이름 대신 모든 봇에 해당됩니다.
2. Disallow: /wp-admin/
- 의미: 크롤러가 /wp-admin/ 디렉터리(워드프레스 관리자 페이지 영역)를 탐색하거나 색인하지 않도록 차단합니다.
- 이유: 관리자 영역은 검색엔진에 노출할 필요가 없고 보안상 차단하는 것이 일반적입니다.
3. Allow: /wp-admin/admin-ajax.php
- 의미: /wp-admin/은 차단했지만, 그 안에 있는 admin-ajax.php 파일은 크롤러가 접근할 수 있도록 허용합니다.
- 이유: 워드프레스에서 admin-ajax.php는 일부 기능(예: 동적 콘텐츠 로딩, 비동기 요청 등)에 필수적이라 검색엔진이 접근할 수 있어야 사이트 기능이 정상적으로 인식될 수 있습니다.
4. Sitemap: https://example.com/wp-sitemap.xml
- 의미: 사이트맵 파일의 위치를 검색엔진에 알려줍니다.
- 사이트맵은 크롤러가 사이트의 페이지 구조를 이해하고 더 효율적으로 색인할 수 있도록 도와줍니다.
이 robots.txt 설정은 워드프레스 관리자 영역은 차단하면서, 필요한 AJAX 파일만 허용하고, 검색엔진이 사이트맵을 통해 효율적으로 페이지를 색인할 수 있게 하는 표준적인 구성입니다.
참고로 저는 GPT봇을 차단했다가 얼마 전에 모든 GPT봇을 허용하도록 지시어를 추가했습니다. 챗GPT를 비롯한 AI가 사이트에 접근하도록 하고 싶은 경우 다음 코드를 robots.txt 파일에 추가할 수 있습니다.
# GPT 및 AI 크롤러 허용
User-agent: GPTBot
Allow: /
User-agent: CCBot
Allow: /
User-agent: AnthropicBot
Allow: /
User-agent: Google-Extended
Allow: /드물지만 GPT 검색을 통해 사용자가 유입되기도 합니다.
GPT 봇들이 내 사이트의 콘텐츠를 크롤링하지 않도록 지시어를 추가해도 일부 AI는 robots.txt 파일의 지시를 무시하고 무차별적으로 콘텐츠를 끌어가서 문제가 되기도 했습니다.
워드프레스에서 robots.txt 파일 편집하기
robots.txt 파일을 편집하려는 경우 몇 가지 방법으로 robots.txt 파일을 생성하여 내용을 변경할 수 있습니다.
루트 디렉터리에 robots.txt 파일 업로드하기
robots.txt 파일을 만들어서 사이트의 루트 폴더로 업로드할 수 있습니다. 가장 일반적인 방법이라 할 수 있습니다.
FTP에 접속하여 robots.txt 파일 만들기/업로드하기
FTP/SFTP에 접속하여 루트 디렉터리에 robots.txt 파일을 만들거나 컴퓨터에서 미리 만든 robots.txt 파일을 업로드할 수 있습니다.
FTP/SFTP에 접속하기 위해서는 FTP/SFTP 로그인 정보가 필요합니다. 웹호스팅에 따라 적절한 방법으로 FTP에 접속하시기 바랍니다.
카페24를 이용하는 경우 FTP 정보를 입력하고 FTP에 접속한 다음, www 폴더로 이동하여 루트 디렉터리로 이동할 수 있습니다. (뉴매니지드 워드프레스 호스팅에서는 FTP에 접속하면 곧바로 www 폴더로 이동이 되는 것 같습니다.)
FTP 정보를 모르는 경우 웹호스팅 업체에 문의하여 도움을 받을 수 있습니다.
파일질라(FileZilla) 클라이언트를 사용하는 경우 FTP 서버에 접속하여 루트 폴더로 이동한 다음, 오른쪽 마우스 버튼을 눌러 컨텍스트 메뉴를 표시합니다. 컨텍스트 메뉴에서 새 파일 만들기를 클릭하여 파일을 만들 수 있습니다.
파일 이름을 robots.txt로 지정하면 파일이 생성됩니다.
robots.txt 파일을 클릭하고 마우스 오른쪽 버튼을 누른 다음, 보기/편집을 선택하면 파일을 편집할 수 있습니다.
다른 방법으로 컴퓨터에서 robots.txt 파일을 미리 만들어서 업로드하는 것도 가능합니다.
File Manager 플러그인 사용하기
FTP에 접속하는 데 어려움을 겪는 경우 워드프레스 관리자 페이지에서 서버에 접속할 수 있는 방법으로 File Manager 플러그인을 사용할 수 있습니다.
이 방법은 개인적으로 권장하지 않지만 FTP라는 용어에 멀미를 느끼는 경우 고려할 수 있습니다. 자세한 방법은 다음 글을 참고해보세요.
몇 가지 파일 매니저 플러그인이 있습니다. 마음에 드는 것을 선택하여 설치해보시기 바랍니다.
플러그인을 사용하여 Robots.txt 파일 편집하기
워드프레스에는 Yoast SEO, Rank Math 등 SEO 플러그인을 무료 또는 유료로 사용할 수 있습니다. Yoast SEO의 경우 워드프레스에는 무료 버전이 제공되지만 쇼피파이에서는 유료 버번만 제공됩니다. Yoast SEO for Shopify는 월 19달러(VAT 제외)입니다.😄
Rank Math, Yoast SEO와 같은 SEO 플러그인을 사용하면 보다 세밀한 SEO 설정이 가능합니다. 특히 SEO 플러그인을 이용하면 SEO 글쓰기에 도움이 되는 팁을 제공받을 수 있습니다.
Yoast SEO나 Rank Math를 사용하는 경우 robots.txt 파일 편집 기능이 제공됩니다.
Yoast SEO 플러그인에서 robots.txt 파일 생성하기
Yoast SEO가 설치된 경우 Yoast SEO » 도구 » 파일 편집기를 클릭하면 robots.txt 섹션에서 robots.txt 파일 만들기 버튼을 눌러 robots.txt 파일을 생성할 수 있습니다. 이 도구에서 .htaccess 파일 편집도 가능합니다.
Rank Math 플러그인의 Robots.txt 파일 편집 기능 사용하기
Rank Math는 무료 버전에서 Yoast SEO의 일부 유료 기능을 제공하므로 무료 버전으로도 보다 정교하게 SEO 플러그인을 하고 싶은 경우 괜찮은 선택일 수 있습니다.
Rank math SEO를 사용한다면 Rank Math SEO » 일반 설정 » Robots.txt 편집에서 robots.txt 파일을 편집할 수 있습니다.
만약 'robots.txt 파일을 쓸 수 없습니다'와 'Robots.txt 파일이 루트 폴더에 있기 때문에 콘텐츠가 잠겨 있습니다' 오류 메시지가 표시된다면 루트 디렉터리에 이미 robots.txt 파일이 존재합니다.
이 경우...
- FTP에 접속하여 robots.txt 파일을 직접 편집하거나,
- 서버에 존재하는 robost.xt 파일을 삭제하고 Rank Math 내에서 로봇 파일을 편집합니다.
가상 Robots.txt 플러그인 사용하기
다른 방법으로 WP Robots Txt와 같은 가상 Robots.txt 파일 플러그인을 사용할 수 있습니다. SEO 플러그인이 설치되어 있지 않고 FTP에 접속할 수 없거나 접속하는 것에 어려움을 겪는 경우 이 플러그인을 사용할 수 있습니다.
Robots.txt 파일 문제 해결하기
robots.txt 파일을 상기의 방법으로 생성했지만 검색엔진에서 제대로 인식하지 못하거나 접속이 되지 않는 문제가 발생할 수가 있습니다.
캐시 플러그인이 설치되어 있다면 사이트맵, robots.txt 파일 등에 대하여 캐싱 제외 요청을 하는 것이 좋습니다. 구글에 잘 노출되다가 캐시 문제 때문에 유입이 급감하는 사례도 간혹 발생합니다.
클라우드웨이즈를 이용하거나 LiteSpeed Cache, WP Rocket 등의 캐시 플러그인을 경우 다음 글을 참고하여 캐싱 제외 설정을 해보시기 바랍니다.
케미클라우드를 이용하는 경우 다음 글을 참고하여 사이트맵과 피드 URL, robots.txt 파일 등에 대하여 캐싱 제외 설정을 해보세요.
워드프레스 사이트에 대하여 클라우드플레어(Cloudflare)를 적용한 후에 robots.txt 파일이 리디렉션되는 문제가 발생할 수 있습니다.
이외에도 캐시 때문에 robots.txt 파일의 내용이 갱신이 안 되는 경우 FTP에서 robots.txt 파일을 삭제한 후에 다시 robots.txt 파일을 만들면 문제가 해결되기도 합니다.
부록: 티스토리에서 robots.txt 파일 문제
티스토리의 경우 로봇 파일에 대한 접근 권한이 없습니다. 티스토리에서 robots.txt 파일을 업로드하는 방법에 대한 글이 검색되지만, 실질적으로는 작동하지 않을 것입니다. 모든 티스토리의 로봇 파일는 다음과 같은 내용으로 되어 있습니다.
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search
User-agent: bingbot
Crawl-delay: 20빙봇에 대한 crawl-delay 지시어가 아직도 유효하지는 모르겠습니다만, 상기 설정은 Bingbot이 한 번 크롤링 작업을 수행한 후 다음 요청까지 약 20초간 대기하도록 지시하는 것으로, 초당 약 0.05회(1분에 3회) 정도의 매우 느린 속도 크롤링에 해당합니다. 이는 서버에 대한 부하를 최소화하고 트래픽을 극도로 줄이는 목적에 적합한 아주 낮은 크롤링 빈도입니다.
빙 웹마스터도구의 크롤링 제어 페이지에서 빙봇의 크롤링 속도를 제어할 수 있습니다. (구글봇의 크롤링 속도 제한 도구는 2024년 1월 8일부터 지원이 중단되었습니다.)
티스토리는 구글 애드센스의 앵커 광고와 모바일 전면 광고를 금지하면서 애드센스 수익이 크게 감소했습니다. 이 때문에 워드프레스나 블로그스팟(구글 블로그) 등으로 이사하는 사용자들이 늘고 있습니다.
댓글 남기기