https://github.com/poesis/rhymix-allbandazole
서버 자원과 트래픽을 낭비하는 기생충 로봇을 차단합니다.
ALL-BAN-d'azole
Antiparasitic module for Rhymix
귀중한 서버 자원과 트래픽을 쪽쪽 빨아먹는 기생충 같은 로봇들을 차단합니다.
널리 알려진 불량 로봇 목록이 기본 적재되어 있습니다.
불량 로봇으로 간주하는 기준은
검색 노출을 통한 방문자 유입, SNS 공유, 광고 수익 등 명백한 혜택을 주지 않으면서
운영자의 동의 없이 국내 홈페이지를 대량으로 크롤링하여
서버 부하 증가, 해외 트래픽 요금 등의 피해를 입힌 이력이 있는 user-agent 또는 IP 대역입니다.
통계 작성이나 마케팅을 위한 데이터 수집, AI 학습 데이터 수집은 대부분 해당됩니다.
(만약 특정 업체의 크롤링에 동의하셨다면 해당 user-agent나 IP 대역을 목록에서 제외하세요.)
국내 호스팅 환경 특성상, 해외 로봇은 거의 다 3번에 걸립니다만
링크를 공유했을 때 일회성으로 페이지 정보를 가져가는 로봇은 예외로 하였습니다.
물론 .htaccess나 서버 설정으로 차단하는 것이 훨씬 더 효율적이겠지만,
웹호스팅에서는 서버 설정을 임의로 수정하기도 어렵고
.htaccess를 수정하면 코어 업데이트시 덮어씌워질 수 있으므로
좀더 관리하기 편한 방법을 제공합니다.