HN 게시 후 AI 봇 트래픽 폭탄 맞은 개발자
원제: I posted to HN, and then my website was flooded with AI bot traffic
왜 중요한가
HN 게시 하나로 AI 봇이 쏟아지는 현상은, 소규모 서비스 운영자가 맞닥뜨리는 크롤러 부하 문제의 현실을 잘 보여준다.
개발자 Sammy Straus가 피드 리더 서비스 sprinklz.io를 Hacker News에 게시해 약 100개의 추천을 받은 직후, 서버가 극심하게 느려졌다. NGINX 로그 분석 결과 전체 트래픽의 절반 가까이가 단일 AI 요약 봇에서 발생했으며, Claude, OpenAI 봇 등 다수의 크롤러도 확인됐다.
Sammy Straus는 자신이 개발한 커스터마이징 피드 리더 sprinklz.io를 Hacker News에 공개해 약 100개의 추천을 받았다. 게시 며칠 후 서버 응답이 급격히 느려졌고, 로그인된 실제 사용자 수는 정상이었음에도 서버 부하는 비정상적으로 높았다.
엔드포인트별 상세 로깅을 추가해 분석한 결과, 요청의 상당수가 단일 페이지 애플리케이션(SPA)의 JavaScript를 실행하지 않았다. 즉, 실제 콘텐츠 로딩 없이 URL만 반복 호출하는 봇 트래픽이었다.
NGINX 로그를 집계하자 놀라운 사실이 드러났다. 전체 트래픽의 절반 가까이가 단 하나의 서비스에서 발생했다. 해당 서비스는 웹사이트 변경 사항을 감지해 AI 뉴스레터로 요약해 주는 서비스로, 분당 수십 회씩 사이트를 폴링하고 있었다. Straus는 즉시 해당 IP를 차단했다.
그 외에도 Claude bot, OpenAI bot, Google 검색 인덱서, 그리고 WordPress 취약점을 노리는 스캐너(실제로는 WordPress 기반이 아님)도 발견됐다. Straus는 robots.txt를 추가해 AI 크롤러를 차단하고 Google bot 등 검색 관련 트래픽은 허용하도록 설정했다. 또한 속도 제한을 적용하고, Claude를 활용해 취약점 경로를 직접 점검하는 작업도 병행했다. 이번 사건을 계기로 서버 인프라 전반을 개선해 실제 사용자 경험 향상에 나섰다고 밝혔다.