Transformer, 연상 기억에서 유도 가능
원제: You could have invented transformers from memory
왜 중요한가
Transformer 설계의 수학적 기원을 명확히 하면 차세대 아키텍처 연구의 출발점이 더 탄탄해진다.
Alex Wang이 자신의 블로그에 Hopfield Network 등 연상 기억(associative memory) 이론을 출발점으로 삼아 Transformer의 self-attention 메커니즘을 단계적으로 재유도하는 기술 해설 글을 공개했다. 이 글은 'Transformer를 처음부터 발명할 수 있었을 것'이라는 관점으로 구조 설계의 수학적 필연성을 설명한다.
Alex Wang의 글은 Transformer가 마치 하늘에서 뚝 떨어진 발명품처럼 느껴지는 이유를, 그 설계 원리가 잘 알려지지 않아서라고 지적한다. 저자는 연상 기억(associative memory) 모델, 특히 Hopfield Network에서 출발해 에너지 함수 최소화 과정을 따라가면 self-attention 공식이 자연스럽게 도출된다고 주장한다.
핵심 논지는 세 단계다. 첫째, 고전적 Hopfield Network는 이진 패턴을 에너지 최소화로 저장·복원한다. 둘째, 연속 값을 다루는 Modern Hopfield Network로 확장하면 업데이트 규칙이 softmax 형태를 취하게 된다. 셋째, 이 softmax 업데이트 규칙에 query·key·value 행렬을 대입하면 Transformer의 scaled dot-product attention과 수식이 일치한다.
저자는 multi-head attention 역시 같은 흐름에서 해석 가능하다고 설명하며, 각 head가 서로 다른 연상 패턴을 독립적으로 저장하는 메모리 슬롯으로 볼 수 있다고 덧붙인다. 구체적인 수식 전개와 MathJax 기반 수학 표기를 병행해 연구자·학생 모두를 독자층으로 겨냥했다.
이 접근은 2020년 Ramsauer 외 연구진이 발표한 'Hopfield Networks is All You Need' 논문의 맥락과 닿아 있으며, Wang은 이를 더 직관적인 서사로 재구성했다.