뉴럴 네트워크는 이미 깔끔하다
원제: Neural networks are clean
왜 중요한가
AI 안전 연구의 핵심 방법론인 Sparse Autoencoder 기반 접근법의 전제를 정면 반박하며, 해석 가능성 연구 전체의 방향 전환을 촉발할 수 있다.
AI 안전 연구소 Goodfire의 Nick Cammarata 연구원이 비공식 연구 에세이를 통해 '뉴럴 네트워크가 이미 해석 가능하다'는 가설을 발표했다. 기계적 해석 가능성(mechanistic interpretability) 분야의 핵심 전제였던 '중첩(superposition)' 이론이 InceptionV1 분석 오류에서 비롯됐으며, 아키텍처 개선만으로 마지막 레이어 뉴런의 99~100%가 해석 가능해졌다고 주장한다.
수개월간 이미지 및 언어 모델의 뉴런과 회로를 연구한 Cammarata는 기존 해석 가능성 연구의 출발점이 된 '다의미 뉴런(polysemantic neuron)' 개념이 잘못 읽혔다고 주장한다.
대표적 사례는 InceptionV1의 유명한 뉴런으로, 고양이 얼굴과 자동차 앞면 모두에 반응한다고 알려졌다. 이 현상의 주류 설명은 '중첩 가설'이었다. 네트워크가 뉴런 수가 부족해지면 관련 없는 개념들을 억지로 한 뉴런에 접어 넣는다는 이론으로, 이로 인해 네트워크가 해석 불가능한 '매듭'처럼 얽혀 있다고 가정했다. 이 가설이 퍼지면서 연구자들은 원래 네트워크 대신 Sparse Autoencoder 같은 2차 분해 모델을 학습시켜 간접적으로 분석하는 방향으로 전환했다.
Cammarata의 반박 핵심은 명확하다. InceptionV1 후반 레이어의 혼란은 중첩이 아니라 아키텍처 결함과 당시 해석 도구의 한계가 겹쳐 생긴 왜곡이었다는 것이다. 그가 '재귀적 일반화(recursive generalization)'라 부르는 실제 패턴은 임의의 뒤얽힘과 달리 훨씬 이해 가능하고 수정 가능하다고 설명한다.
실증 결과도 제시한다. 모델 크기나 학습 데이터 변경 없이 아키텍처 개선만 적용하자, 거의 해석 불가능하다고 여겨졌던 InceptionV1 마지막 레이어의 뉴런 99~100%가 쉽게 해석 가능해졌다. 같은 원리가 수조 개 파라미터 규모의 언어 모델에도 적용 가능하다고 주장한다.
이 에세이는 65분 분량의 긴 글로, 현재 공개된 가설이지 동료 심사를 거친 논문은 아니다.