10년 된 CNN, 최신 LLM보다 피부암 진단 정확도 높아
원제: A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
왜 중요한가
의료 AI에서 범용 LLM이 전문화 모델을 대체할 수 있다는 가정에 중요한 반례를 제시하며, 임상 특화 학습 데이터의 중요성을 재확인시킨다.
피부과 전문의 Magnus Lynch 박사가 2026년 10월 GPT-6 Astra와 Claude Fable 5.1을 대상으로 200개 생검 확인 병변 진단 실험을 진행한 결과, 두 최신 LLM의 정확도는 각각 42%에 그친 반면, 2015년 Google이 공개한 CNN 모델 Inception v3를 파인튜닝한 모델은 62%를 기록했다.
Lynch 박사는 ISIC(International Skin Imaging Collaboration)이 2025년 공개한 MILK10k 데이터셋에서 병변 200개를 무작위 추출했다. 100개는 흑색종·기저세포암·편평세포암·광선각화증 등 치료가 필요한 병변이고, 나머지 100개는 양성 모반과 지루성 각화증이었다. 모든 병변은 조직병리 검사로 확인된 것이다.
GPT-6 Astra와 Claude Fable 5.1 두 모델은 임상 사진과 피부경(dermoscopy) 이미지를 함께 받아 6가지 진단 중 하나를 선택하도록 요청받았다. 두 모델 모두 각각 84개, 85개(42%)만 정확히 분류했다. 대표적 오진 사례로, 귀에 발생한 0.8mm 미만의 침습성 흑색종을 두 LLM 모두 '지루성 각화증'으로 잘못 판정해 퇴원 가능 판단을 내렸다.
반면 Inception v3는 단일 H100 GPU에서 약 20분간 파인튜닝한 뒤 테스트에 투입됐다. 훈련 데이터는 ISIC 아카이브의 68,011개 이미지이며, 테스트 병변 200개는 훈련·검증 단계에서 완전히 배제됐다. 결과는 125개 정확 분류(62%)로 두 LLM을 20%p 앞섰다. 피부경 이미지에 더 높은 가중치를 두어 두 이미지를 결합하는 방식이 활용됐다.
Lynch 박사는 LLM에게 6가지 진단 외에 '불확실' 응답도 허용했으나 두 모델 모두 한 건도 거부하지 않았다고 밝혔다.