LLM이 신경망 가중치를 직접 읽고 수정
원제: Astra can read and write weights to improve Qwen
왜 중요한가
그래디언트 없이 LLM이 가중치를 직접 편집하는 방식은 모델 최적화와 해석 가능성 연구의 방향을 바꿀 수 있다.
MIT CSAIL 연구팀이 2026년 11월 2일 공개한 논문에 따르면, GPT-6 Astra가 Qwen3.5-0.8B 모델 가중치의 0.016%만 수정해 MATH-500 벤치마크 점수를 7.9%에서 48.1%로 끌어올렸다. 그래디언트나 학습 루프 없이, 순수 추론만으로 달성한 결과다.
MIT CSAIL의 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab 연구팀은 'Weight-Space Programming'이라는 개념을 제시했다. 핵심 주장은 간단하다. 최신 프론티어 LLM이 원시 신경망 가중치를 보고 네트워크의 동작을 파악하고, 목표에 맞게 직접 수정할 수 있다는 것이다.
실험은 세 가지로 구성된다. 첫째, GPT-6 Astra에게 17,253개의 가중치를 제공했더니 해당 네트워크가 어떤 게임(Breakout)에서 훈련됐는지 99% 신뢰도로 맞혔다. 둘째, 훈련 없이 가중치만으로 소규모 게임 플레이 네트워크를 작성해, PPO 알고리즘으로 1억 스텝 학습한 네트워크보다 높은 성능을 냈다. 셋째, Qwen3.5-0.8B의 추론 루프 문제를 Qwen 공식 모델 카드가 경고한 내용과 일치하는 형태로 가중치에서 스스로 찾아낸 뒤, 전체의 0.016%에 해당하는 가중치만 수정해 수학 점수를 7.9%→48.1%로 높였다. IFEval(지시 따르기) 벤치마크도 3배 향상됐다.
연구팀은 이 접근법이 기존의 Adam, Muon 같은 수치 최적화 알고리즘과 근본적으로 다르다고 강조한다. LLM이 신경망의 각 부분이 무엇을 계산하는지 추론하고, 그에 따라 가중치를 의도적으로 변경하기 때문이다. 아직 초기 결과이며 소규모 모델에 집중됐지만, 해석 가능성과 최적화 양쪽 모두에 함의가 있다고 밝혔다.