딥러닝의 과학적 이론이 등장할 것
원제: There Will Be a Scientific Theory of Deep Learning [R]
왜 중요한가
딥러닝의 이론적 기반 구축을 위한 체계적 접근법으로 AI 연구의 과학적 발전에 중요한 의미
Jamie Simon 등 14명의 연구진이 arXiv에 딥러닝의 과학적 이론이 형성되고 있다고 주장하는 41페이지 논문을 발표했다. 연구진은 훈련 과정의 동역학, 은닉 표현, 최종 가중치, 성능을 특성화하는 이론의 5가지 주요 연구 방향을 제시했다.
연구진은 딥러닝의 과학적 이론이 형성되고 있다며 이를 '학습 역학(learning mechanics)'라고 명명했다. 논문에서 제시한 5가지 연구 방향은 (a) 현실적 시스템의 학습 동역학에 대한 직관을 제공하는 해결 가능한 이상화된 설정, (b) 기본적인 학습 현상에 대한 통찰을 드러내는 추적 가능한 한계, (c) 중요한 거시적 관찰 가능량을 포착하는 간단한 수학적 법칙, (d) 하이퍼파라미터를 훈련 과정에서 분리하여 더 간단한 시스템을 남기는 이론, (e) 시스템과 설정 전반에 걸쳐 공유되는 보편적 행동이다. 이러한 연구들은 훈련 과정의 동역학에 관심을 두고, 거시적 집계 통계를 설명하며, 검증 가능한 정량적 예측을 강조한다는 공통점을 갖는다. 연구진은 이 역학적 관점이 통계적, 정보이론적 접근법과 상호보완적 관계를 형성할 것이며, 특히 기계론적 해석가능성과 공생 관계를 맺을 것으로 예상한다고 밝혔다.