10 साल पुरानी CNN ने LLMs को पछाड़ा
मूल शीर्षक: A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
यह क्यों महत्वपूर्ण है
यह परिणाम दर्शाता है कि task-specific trained पुराने models, general-purpose frontier LLMs से चिकित्सा निदान में बेहतर हो सकते हैं।
त्वचा विशेषज्ञ Dr. Magnus Lynch ने 200 बायोप्सी-सिद्ध घावों पर GPT-6 Astra, Claude Fable 5.1 और Inception v3 CNN को परखा। CNN ने 62% सटीकता दी, जबकि दोनों LLMs केवल 42% पर रहे।
Dr. Magnus Lynch, जो पेशे से त्वचा रोग विशेषज्ञ हैं, ने अक्टूबर 2026 में एक परीक्षण किया जिसके नतीजे चौंकाने वाले हैं। उन्होंने MILK10k नामक सार्वजनिक डेटासेट से 200 बायोप्सी-सिद्ध त्वचा घाव चुने — 100 कैंसरयुक्त (melanoma, basal cell carcinoma, squamous cell carcinoma, actinic keratosis) और 100 सुरक्षित (benign naevi और seborrhoeic keratosis)। हर घाव की दो तस्वीरें दी गईं: एक सामान्य और एक dermoscopic।
GPT-6 Astra और Claude Fable 5.1 दोनों को एक जैसा prompt दिया गया। दोनों ने 6 संभावित diagnoses में से सही उत्तर क्रमशः 84 और 85 मामलों में दिए यानी करीब 42%। एक melanoma को दोनों ने seborrhoeic keratosis बताया और discharge की सलाह दी — जो एक गंभीर चूक होती।
इसके विपरीत, Google का 2015 में प्रकाशित Inception v3 CNN, जिसे Lynch ने एक H100 GPU पर सिर्फ 68,011 ISIC Archive छवियों पर fine-tune किया — मात्र बीस मिनट में — 125 मामले यानी 62% सही पहचाना। CNN को test छवियाँ training में कभी नहीं दिखाई गई थीं।
Lynch ने यह भी स्पष्ट किया कि CNN जानबूझकर पुरानी और साधारण architecture वाली रखी गई, ताकि तुलना निष्पक्ष रहे। CNN को खुद भी आज़माया जा सकता है।