ChatGPT 봇 차단 하기, 크롤링 GPTBot 접근 차단
웹사이트 관리자가 ChatGPT 의 데이터 수집을 위한 봇을 차단할 수 있다.
robots.txt 파일을 수정하면 간단하게 OpenAI 의 GPTBot의 접근을 차단할 수 있다.
GPTBot 접근 제한
- robots.txt 파일에 아래 부분을 추가한다.
User-agent: GPTBot
Disallow: /
GPTBot 크롤링 허용할 부분에 대해 설정하기
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
직접 OpenAI의 봇 IP를 차단하고 싶다면 아래 링크를 참고해서 등록한다.