CNN Lawas Kalahkan LLM Terkini untuk Deteksi Kanker Kulit
Judul asli: A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
Mengapa Ini Penting
Temuan ini mempertanyakan asumsi bahwa LLM frontier otomatis unggul di semua domain medis.
Inception v3 buatan 2015 capai akurasi 62% dalam mendiagnosis 200 lesi kulit, melampaui GPT-6 Astra dan Claude Fable 5.1 yang hanya mencapai 42%.
Dr. Magnus Lynch, seorang dermatologis, menguji kemampuan dua model AI terkemuka — GPT-6 Astra dan Claude Fable 5.1 — dalam mendiagnosis 200 lesi kulit yang telah dikonfirmasi melalui histopatologi. Hasilnya mengejutkan: keduanya hanya mampu menyebutkan diagnosis yang benar pada 84 dan 85 kasus (42%), jauh di bawah versi fine-tuned dari Inception v3, CNN buatan Google tahun 2015, yang menjawab benar pada 125 kasus (62%).
Dataset yang digunakan berasal dari MILK10k, kumpulan data publik yang dirilis oleh International Skin Imaging Collaboration pada 2025. Setiap lesi difoto dua kali: foto klinis biasa dan gambar dermoskopik. Dari 200 lesi, 100 termasuk kategori berbahaya (melanoma, karsinoma sel basal, karsinoma sel skuamosa, keratosis aktinik) dan 100 aman dipulangkan.
Inception v3 di-fine-tune selama sekitar 20 menit menggunakan 68.011 gambar dari ISIC Archive pada satu GPU H100. Untuk kasus melanoma invasif di telinga, kedua LLM menyebutnya seborrhoeic keratosis dan merekomendasikan pasien dipulangkan — diagnosis yang salah dan berpotensi berbahaya. CNN justru menjawab dengan benar berdasarkan gambar dermoskopik.
Lynch menegaskan CNN yang dipakai bukan model terkini, dan hasilnya menunjukkan bahwa spesialisasi melalui fine-tune tetap unggul dibanding kemampuan umum LLM masa kini dalam tugas diagnostik visual yang sempit.