AI 스크래퍼 봇, 주거용 프록시로 공격 확대
원제: An update on residential proxies and the scraper situation
왜 중요한가
AI 학습 데이터 수집 목적의 스크래핑이 오픈 웹 인프라를 위협하는 수준으로 확대되어, 독립 미디어 및 소규모 웹사이트 운영의 지속 가능성에 직접적 영향을 미치고 있다.
LWN.net의 Jonathan Corbet은 2026년 7월 10일, AI 학습 데이터 수집을 목적으로 한 웹 스크래퍼 봇 공격이 1년 이상 지속되며 악화되고 있다고 보고했다. 수백만 개의 고유 IP 주소를 통해 단시간에 대규모 요청이 집중되며, 주거용 및 모바일 네트워크가 주요 공격 경로로 확인됐다.
LWN.net은 2025년 초 게재한 AI 스크래퍼 봇 문제 관련 기사의 후속으로, 상황이 더욱 심각해졌다고 전했다. 공격은 수백만 개의 고유 IP 주소에서 각 주소당 2~3회만 요청을 보내는 방식으로 이루어져, IP 차단이 사실상 무의미하다. 봇은 이미지나 CSS를 불러오지 않는 등의 특징으로 식별 가능하지만, 식별 후 해당 주소는 재사용되지 않는다.
공격 트래픽은 주로 중앙 명령·제어 노드의 지시를 받는 '주거용 프록시(residential proxy)'를 통해 발생한다. 기기 소유자 모르게 악성 소프트웨어가 설치되어 웹 페이지 요청을 대리하는 구조다. 올해 초 Google이 'IPIDEA'라는 봇 네트워크를 차단했고, 이후 LWN에서 스크래퍼 트래픽이 일시적으로 감소했으나 곧 재확산됐다. 최근에는 미디어 스트리밍 기기가 악성 스크래핑 소프트웨어의 주요 매개체로 확인됐다.
한편, Bright Data와 같은 기업은 '윤리적으로 수집된' IP 주소를 제공한다며 합법을 표방하고 있다. 이 회사는 무료 VPN 서비스를 제공하는 대신 사용자의 기기를 자사 주거용 프록시 네트워크의 일부로 활용한다. 앱 개발자가 링크할 수 있는 라이브러리 형태로 제공되는 사례도 많아, 오픈 웹 유지가 점점 어려워지고 있다는 우려가 제기되고 있다.