- Published on
150만 페이지짜리 사이트를 1년간 스크레이퍼로부터 방어한 기록을 근거로, 봇 트래픽 대응의 원칙을 정리합니다. 자바스크립트 기반 분석 도구는 봇을 세지 못하므로 서버 로그를 봐야 하고, 사용자 에이전트 같은 자기 신고 값 대신 ASN과 지리 위치, 암호학적으로 검증된 봇 여부처럼 위조하기 어려운 출처 정보로 규칙을 세워야 합니다. 크롤당 유입 방문자 수라는 지표, Cloudflare가 공개한 비율과 개별 사이트 측정치가 갈리는 이유, 방어 장치 자체가 성능 예산을 잡아먹은 사례, 그리고 주거용 IP 봇넷 앞에서 네트워크 계층 차단이 원리적으로 막히는 지점까지 다룹니다.