노트북 Qwen으로 모델 가중치 해석 성공
원제: Qwen 3.8 27B on my laptop can interpret model weights, too
왜 중요한가
프론티어 전용으로 여겨진 가중치 해석 능력이 로컬 소형 모델로도 가능하다는 점은 AI 연구 접근성과 보안 양쪽에 직접적인 함의를 갖는다.
Simon Willison은 2026년 11월 3일, 자신의 노트북에서 실행한 Qwen 3.8 27B 모델이 신경망의 원시 가중치(raw weights)를 읽고 어떤 게임을 학습했는지 판별하는 데 성공했다고 밝혔다. 이는 GPT-6 Astra의 'Weight-Space Programming' 능력을 소규모 로컬 모델로도 재현한 사례다.
발단은 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab이 공개한 논문 'Sparks of Weight-Space Programming'이다. 저자들은 이를 '블로그 포스트'로 분류했지만 실질적으로 논문 형식을 갖췄다. 핵심 주장은 GPT-6 Astra가 도구 실행 없이 원시 가중치만 보고 신경망이 무엇을 학습했는지 파악하고, 나아가 가중치를 직접 수정할 수 있다는 것이다.
논문에서 가장 주목받은 사례는 Qwen3.5-0.8B의 수학 성능 개선이다. Astra는 추론 루프를 유발하는 가중치 문제를 발견하고 전체의 0.016%만 수정해 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸으며, IFEval도 3배 향상됐다고 보고됐다.
Willison은 논문이 제시한 실험 중 '도구 없이 가중치만으로 게임 판별' 과제에 집중했다. 연구팀은 Breakout, Pong, Pac-Man, Freeway 네 가지 게임을 10x10 그리드 환경에서 강화학습으로 훈련한 정책 네트워크 가중치를 부동소수점 숫자 형태로 LLM에 입력했다. Willison은 GitHub에 공개된 프롬프트를 그대로 활용해 자신의 LLM 도구로 Qwen 3.8 27B를 테스트했고, 로컬 모델도 동일한 과제를 수행할 수 있음을 확인했다.
다만 논문에 대한 비판도 있다. spaCy 개발자 Matthew Honnibal은 '도구 없는 가중치 해석'과 '코드를 활용한 가중치 수정'을 혼용해 오해를 유발한다고 지적했고, Sean Goedecke는 Qwen3.5-0.8B 개선 사례가 인간 ML 연구자가 취하는 절차와 동일하다고 분석했다.