인공 신경망에서 발현되는 기호적 구조
원제: The Emergent Symbolic Structure of Artificial Neural Networks
왜 중요한가
신경망 내부의 기호적 구조 발견은 AI의 해석 가능성 연구 및 기호-연결주의 통합 접근법에 중요한 이론적 기반을 제공한다.
2026년 8월 30일, R. Thomas McCoy 등 4명의 연구자가 arXiv에 논문을 공개했다. 연구팀은 신경망의 벡터 표현이 기호적 구조로 근사 가능함을 실험적으로 입증했으며, 소규모 신경망부터 대형 언어 모델(LLM)까지 산술, 논리, 코드, 언어 4개 영역에서 이 가설을 검증했다.
예일대 및 존스홉킨스대 소속 연구자들인 R. Thomas McCoy, Paul Soulos, Tal Linzen, Paul Smolensky는 인공 신경망의 내부 표현이 암묵적으로 기호적 구조를 실현하고 있다는 가설을 제안하고, 이를 실증하는 논문을 arXiv에 공개했다.
전통적으로 지능은 논리 공식과 같은 기호의 구조적 조합으로 모델링되어 왔다. 반면 현대의 강력한 AI 시스템은 연속 벡터로 정보를 표현하는 신경망 기반이며, 벡터 방식은 언어·논리·인지 영역의 구조를 포착하기에 부적합해 보인다는 오랜 논쟁이 있었다.
연구팀은 다양한 신경망의 벡터 표현을 기호적 구조로 밀접하게 근사할 수 있음을 보였다. 구체적으로, 네트워크의 전체 표현 생성 과정을 기호적 구조를 구현하는 닫힌 형태의 방정식(closed-form equation)으로 대체해도 네트워크의 동작이 거의 변하지 않음을 확인했다. 이 결과는 리스트 조작을 학습한 소규모 신경망뿐 아니라, 산술·논리·컴퓨터 코드·언어 4개 영역에서 동작하는 LLM에서도 성립했다.
또한 연구팀은 이 기호적 근사를 활용해 LLM의 내부 표현에 정밀하게 개입함으로써 모델의 동작을 특정 방식으로 수정할 수 있음을 보였다. 이는 LLM의 동작이 연구팀이 식별한 기호적 구조에 의존하고 있음을 직접적으로 시사한다. 이 연구는 기호주의적 지능 관점과 현대 AI의 벡터 기반 특성을 조화시킬 수 있는 방향을 제시한다.