Bot AI Banjiri Situs Web Usai Posting ke Hacker News
Judul asli: I posted to HN, and then my website was flooded with AI bot traffic
Mengapa Ini Penting
Fenomena ini menunjukkan beban nyata yang ditimbulkan bot AI scraper terhadap situs-situs kecil.
Situs sprinklz.io diserbu bot AI setelah viral di Hacker News dengan ratusan upvote, hampir separuh traffic berasal dari satu layanan AI scraper yang meminta halaman berkali-kali per menit.
Sammy Straus, pengembang di balik sprinklz.io — feed reader yang bisa menyaring topik tertentu dari berita — memposting proyeknya ke Hacker News sebulan lalu dan meraih sekitar 100 upvote. Respons positif datang, tapi beberapa hari setelahnya server justru makin lambat meski jumlah pengguna aktif yang login tetap sedikit.
Setelah menambahkan logging per endpoint, Straus menemukan bahwa sebagian besar request tidak pernah mengeksekusi JavaScript — artinya bukan pengguna sungguhan yang membuka halaman. Analisis log NGINX mengungkap satu pelaku utama: sebuah layanan yang mendeskripsikan dirinya sebagai pemantau perubahan website untuk kemudian merangkumnya menjadi newsletter berbasis AI. Layanan itu menghantam situs berkali-kali per menit. Straus langsung memblokirnya.
Bot lain yang terdeteksi antara lain ClaudeBot, OpenAI bot, Google Search indexer, hingga vulnerability scanner yang mencoba mengakses path WordPress seperti wp-content/phpinfo.php — padahal situs itu bukan WordPress. Straus kemudian menambahkan robots.txt untuk memblokir sebagian besar crawler AI sambil tetap mengizinkan Googlebot, menerapkan rate limiting, dan melakukan serangkaian peningkatan infrastruktur untuk memperbaiki performa secara keseluruhan.