HN पर पोस्ट के बाद AI बॉट्स ने वेबसाइट डुबोई
मूल शीर्षक: I posted to HN, and then my website was flooded with AI bot traffic
यह क्यों महत्वपूर्ण है
यह घटना दिखाती है कि AI crawlers छोटी वेबसाइटों के लिए भी गंभीर infrastructure समस्या बन सकते हैं।
Sammy Straus ने अपना feed reader sprinklz.io Hacker News पर पोस्ट किया। कुछ दिनों में सर्वर पर असामान्य लोड बढ़ा। जांच में पता चला कि आधे से अधिक ट्रैफिक AI crawlers और एक automated newsletter सेवा से आ रहा था।
Sammy Straus ने अपना customizable feed reader sprinklz.io करीब एक महीने पहले Hacker News पर पोस्ट किया, जिसे लगभग 100 upvotes मिले। पोस्ट वायरल होने के कुछ दिन बाद भी सर्वर का load घटने की बजाय बढ़ता रहा, जबकि logged-in active users की संख्या सामान्य थी।
जांच करने पर NGINX logs से सामने आया कि अधिकांश requests ने javascript तक नहीं चलाई — यानी असली पेज कभी render हुआ ही नहीं। एक अकेली सेवा पूरे ट्रैफिक का करीब आधा हिस्सा ले रही थी। वह सेवा खुद को एक ऐसा tool बताती है जो वेबसाइट में बदलाव detect करके AI-generated newsletter तैयार करती है — और इसके लिए वह प्रति मिनट कई बार साइट को query करती थी।
इसके अलावा ClaudeBot, OpenAI bot, Google का search indexer और कई vulnerability scanner भी सक्रिय थे। एक bot ने WordPress की फाइल `/wp-content/phpinfo.php` ढूंढने की कोशिश की, जबकि साइट WordPress पर बनी ही नहीं है।
Straus ने robots.txt जोड़ा, AI crawlers को block किया, Google bot को अनुमति दी, और rate limiting लागू की। साथ ही infrastructure में सुधार करके performance बेहतर बनाई।