네이버 서치어드바이저에서는 매일 50개 URL을 수집 요청을 할 수 있습니다. 저는 이 사이트와 다른 워드프레스 블로그에 대하여 모든 포스트 URL을 추출하여 매크로 프로그램으로 매일 50개씩 수집 요청을 하고 있습니다. 하지만 며칠이 지나서 네이버 웹마스터 도구의 사이트 진단 페이지를 체크해보니 다른 워드프레스 블로그에서 제출된 URL들이 수집 보류가 된 것을 발견했습니다. 조금 더 자세히 살펴보니 아래 그림과 같이 "리디렉션된 페이지" 오류가 표시되었습니다.
네이버 서치어드바이저 수집 제한: 리디렉션된 페이지 문제
비슷한 방법으로 URL을 추출하여 수집 요청을 했는데, 이 블로그에 대해서는 에러가 발생하지 않지만, 다른 사이트에 대해서는 리디렉션 페이지 문제가 나타나는지 궁금해졌습니다.
제출한 URL을 비교해보니 이 블로그의 경우:
https://www.thewordcracker.com/blog/%eb%8c%80%ed%99%94%ed%98%95-ai-%ec%b1%97gpt-%ea%b8%b0%ed%9a%8c-%ed%98%b9%ec%9d%80-%ec%9c%84%ed%98%91/
위의 같은 형식인 반면, 다른 블로그의 URL은 다음과 같이 끝에 "/"가 누락되어 있었습니다.
https://example.com/글제목
보통 브라우저에서 주소를 복사하여 붙여넣기 하면 끝에 슬래시가 붙습니다.
https://www.thewordcracker.com/
오래 전에 주소 끝에 슬래시가 붙는 문제에 대해 리서치를 한 적이 있습니다. 기술적인 부분과 관련되는 것 같습니다. 끝에 슬래시가 붙으면(이런 슬래시를 "트레일링 슬래시" 혹은 "후행 슬래시"라고 하네요) 속도가 조금 더 빨라진다는 것을 어떤 해외 블로그 글에서 읽은 기억이 있습니다.
여기에 대하여 구글링해 보면 복잡하게 설명된 경우가 많은데요. 쉽게 이해하자면 슬래시 여부에 따라 브라우저에서 디렉터리로 혹은 파일로 인식하게 된다고 합니다.
https://www.example.com/example/ -> 디렉터리
https://www.example.com/example -> 파일
파일이 아닌 주소에 트레일링 슬래시를 생략하게 되면 브라우저에서는 파일을 찾으려고 시도해보고, 파일이 없다면 디렉터리를 확인하게 된다고 합니다.
그러므로 슬래시를 누락하면 접속 속도에서 약간의 차이가 있을 수 있는 것 같습니다.
네이버 서치어드바이저에서 URL 수집 요청을 할 때 후행 슬래시를 누락하면 네이버에서는 슬래시가 있는 버전으로 리디렉션되는 것으로 인식하여 "리디렉션된 페이지" 문제를 반환하는 것으로 보입니다.
실제로 URL 끝에 슬래시를 모두 추가한 다음 수집을 요청하고 며칠이 지나니 정상적으로 수집되기 시작했습니다.
상기 그래프에서 주황색 막대가 수집제한된 페이지 수를 의미합니다. URL에 후행 슬래시를 붙이지 않고 수집 요청을 했을 때에는 모두 수집 제한이 되었지만, 후행 슬래시를 추가한 이후에는 수집 제한 항목이 사라졌습니다.
모든 URL의 끝에 슬래시를 일괄 추가하려는 경우 정규식(정규 표현식)을 이용하면 간편합니다.
위와 같이 설정하여 모두 바꾸기를 클릭하면 모든 라인 끝에 슬래시(/)가 추가됩니다.
URL에 슬래시를 붙이거나 붙이지 않는 문제에 대한 자세한 사항을 구글 문서를 참고해볼 수 있습니다.
수집제한에 글이 아니라 리디렉션된 페이지목록에 site.xml이 제한 된 경우에는 어떻게 해결 해야 하나요?사이트맵 삭제 후 다시 제출하고 해도 별 차도가 없어서 검색해도 방법이나오질 않네요. ㅠㅠ 초반에 글들이 수집이 되었던거 같은데 일정시간 이후 갑자기 모든 글이 수집이 잘 안되는 느낌도 기분 탓인지 들구요. 웹페이지 수집에 주소~sitemap.xml이렇게 라도 제출해서 넣어 봐야 할까요?
사이트맵 주소가 올바른지 확인해보시기 바랍니다. Yoast SEO나 Rank Math를 사용할 경우 사이트맵 URL은 /sitemap_index.xml입니다.
그리고 초기에는 잘 색인이 안 되는 것처럼 느껴질 수 있습니다.
당분간 수동으로 페이지 수집 요청을 하는 것도 고려해보시기 바랍니다.
현재 사이트가 1년이 넘어가는데 아직도 저런 이유가 답변보니sitemap.index.xml로제출을 한 게 아니라, 제가 sitemap.xml로 제출해서 그랬을수도 있을거 같아요. 답변 정말 감사합니다 ㅠㅠ!!
AIO SEO를 사용하는 경우 사이트맵 주소는 sitemap.xml입니다. 실제 사이트맵 주소가 어떻게 되는지 먼저 체크해보시기 바랍니다. 사이트주소/sitemap.xml을 입력해보면 실제 사이트맵 주소를 확인할 수 있을 것입니다. Rank Math나 yoast를 사용하는 경우 사이트주소/sitemap.xml을 입력하면 /sitemap_index.xml로 이동합니다.