챗GPT, 구글 제미나이(Gemini) 등 생성형 AI가 내 블로그 콘텐츠에 접근하지 못하도록 관련 봇들을 robots.txt를 통해 차단할 수 있습니다. ChatGPT 봇을 차단하는 방법에 대하여 이 블로그에서 다룬 적이 있습니다. 구글 제미나이(Gemini), Vertext AI 등도 내 사이트에 액세스하지 못하도록 차단할 수 있습니다. 구글 제미나이(Gemini), Vertex AI 크롤러 봇 차단하기 챗GPT의 GPTBot을 차단하는 방법은 다음 글에서 확인할 수...
챗GPT로 유명한 OpenAI는 최근 새로운 웹 크롤러인 GPTBot을 공개했습니다. OpenAI는 GPT봇을 사용하여 웹을 크롤링하고 자사의 AI 기능(예: ChatGPT)에 지식을 습득하여 질문(또는 프롬프트)에 대한 AI 생성 답변을 제공합니다. GPT봇이 내 사이트를 크롤링하지 못하도록 차단하고 싶은 경우 robots.txt 파일에 GPTBot을 차단하는 코드를 추가하여 내 사이트에 GPT봇이 접근하지 못하도록 차단할 수 있습니다. 오픈AI 웹크롤러 'GPT봇' 차단하기 Useragent GPTBot의...
워드프레스 사이트나 티스토리 사이트를 구글 서치 콘솔에 등록하면 수시로 구글에서 "새로운 페이지 색인 생성 문제가 감지됨" 메일이 날아올 것입니다. 이 경우 해당 색인 생성 문제를 확인하여 실제로 문제가 된다면 문제를 수정하도록 합니다. 하지만 많은 경우 색인 생성에서 제외되어야 하는 URL일 수 있습니다. 다음 글을 참고하여 해당 색인 생성 문제가 해결되어야 하는 문제인지 확인하시기 바랍니다. 구글...
FTP 접속이 불가능하거나 액세스에 어려움을 겪는 경우 Virtual Robots.txt 플러그인을 사용하면 쉽게 워드프레스 사이트를 위한 robots.txt 파일을 생성하여 관리할 수 있습니다. FTP, 퍼미션 등에 대해 신경 쓸 필요 없이 플러그인을 설치하여 활성화하면 됩니다. 워드프레스 가상 Robots.txt 플러그인 FTP에 접속하여 robots.txt 파일을 생성하고 수정하는 데 어려움을 겪는 경우 가상 Robots.txt 파일을 생성하는 Virtual Robots.txt 플러그인을 사용해볼...
구글로부터 Googlebot cannot access CSS and JS files on http://www.your-domain-name.com/이라는 메일을 받은 경우 이와 같은 메일이 발송되는 것은 아마 구글의 새로운 기능 때문인 것 같습니다. robots.txt 파일을 수정하여 다음 라인을 추가하도록 합니다: User-agent: * Disallow: /wp-admin/
