[워드프레스] Robots.txt 파일 만들기 및 최적화하기

참고: 인기 테마인 BE 테마(33%)The 7(35%) 할인 행사를 진행하고 있습니다.
참고

robots.txt 파일이 없어도 검색 엔진에서 사이트를 크롤링(Crawl)하여 색인화(Indexing)하지만 이 파일을 만드는 것이 좋습니다.  구글 웹마스터 도구에서 사이트맵 파일을 제출하지 않은 경우 구글은 이 파일에 입력되어 있는 XML 사이트맵 파일을 찾게 됩니다.

robots.txt 파일은 사이트의 루트 폴더에 위치하게 됩니다. robots.txt 파일이 없으면 컴퓨터에서 robots.txt 파일을 하나 만들어 FTP를 통해 업로드할 수 있습니다. (FTP를 사용하는 방법은 여기를 참고해보세요.)

robots.txt 파일 작성하기

robots.txt 파일은 다음과 같은 형식으로 작성할 수 있습니다.

모든 항목 색인 허용

User-agent: *
Disallow:

또는

User-agent: *
Allow: /

모든 항목 색인 금지

User-agent: *
Disallow: /

특정 폴더 색인 금지

User-agent: *
Disallow: /folder/

Googlebot이 특정 파일을 제외한 폴더의 색인을 금지하도록 설정

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

보다 자세한 내용은 이 글을 참고해보시기 바랍니다.

워드프레스에서 robots.txt 파일 작성하기

워드프레스에서는 다음과 같이 일부 폴더가 검색엔진에서 색인화하지 않도록 설정할 수 있습니다.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

원하는 경우 /wp-admin/ 폴더를 차단할 수 있습니다. 저는 어드민 폴더를 차단하도록 추가했는데, 허용하기를 원하는 사람도 있는 것 같습니다. 그리고 /wp-content/plugins/ 폴더의 경우 위에서는 차단하도록 설정했지만 구글에서 페이지 렌더링(처리)에 필요한 Javascript나 CSS를 플러그인에서 출력할 수 있으므로 Yoast에서는 차단하지 않는다고 하네요. 많은 글에서 /wp-content/plugins/ 폴더도 차단할 것을 권장하고 있지만 허용해도 좋을 듯합니다.

사이트맵은 다음과 같은 형식으로 추가하면 됩니다.

Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/post-sitemap.xml

SEO 플러그인을 설치한 경우 robots.txt 파일을 최적화하는 옵션을 제공하기도 합니다. 예를 들어, All in One SEO를 설치한 경우 대시보드의 왼쪽 사이드바에서 All in One SEO > Robots.txt 옵션을 선택하면 Robots.txt 파일을 생성할 수 있고 최적화할 수 있는 옵션도 제공됩니다.

Optimize your Robots file - Robots.txt 파일 최적화하기

Optimize를 누르면 All in One SEO 플러그인에서 현재 robots.txt 파일을 분석하여 변경 권장 사항을 제시합니다.

참고:



기부를 통해 이 블로그를 후원하실 수 있습니다.
워드프레스 설치/제작/문제해결이 필요한 경우 서비스(유료)를 요청해주세요.