Qwen3.5 가중치 속에 RISC-V CPU 심었다
원제: Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
왜 중요한가
LLM 가중치 자체에 결정론적 연산 기능을 내장하는 방향은 AI 안전성 및 온디바이스 실행 연구에 새로운 접근법을 제시한다.
개발자 Divyansh Agrawal가 2026년 10월 22일, Qwen 3.5 4B 모델 가중치 안에 RISC-V CPU를 내장한 실험적 모델 'Qwenputer'를 공개했다. 외부 런타임이나 도구 없이 모델 순전파(forward pass)만으로 산술 연산 및 C, MicroPython 코드를 실행하며, CPU의 RAM은 모델 자체의 Gated DeltaNet 어텐션 레이어가 담당한다.
Qwenputer는 Qwen 3.5 4B를 기반으로, 모델 가중치에 RISC-V CPU를 직접 '컴파일'해 넣은 실험 모델이다. 플러그인도, 샌드박스도, 외부 도구 호출도 없다. CPU 실행 전 과정이 모델의 forward pass 안에서만 일어난다.
핵심은 Qwen3-Next와 Qwen 3.5가 채택한 Gated DeltaNet(GDN) 구조다. 전체 어텐션 레이어 4개 중 3개가 선형 RNN 방식인 GDN을 사용하는데, Agrawal은 세 가지 조건을 발견했다. 게이트 값을 1로 고정해 망각을 없애고, 쓰기 강도(beta)를 1로 설정해 기존 값을 완전히 덮어쓰며, 원-핫(one-hot) 키 인코딩을 적용해 특정 행만 정확히 지정한다. 이 세 조건이 충족되면 GDN 레이어가 정밀한 주소 지정 가능 RAM처럼 동작한다.
이 방식은 일반 어텐션의 KV 캐시와 달리 대화가 길어져도 상태 크기가 고정된다는 장점이 있다. CPU는 레지스터, 메모리, 프로그램 카운터를 모두 이 GDN 상태 행에 저장한다. Agrawal은 선형 어텐션의 델타 룰이 연상 메모리(fast weights)로 작동한다는 Schlag et al.(ICML 2021) 연구를 기반으로, 이를 실제 프로덕션 모델 안에서 결정론적이고 주소 지정 가능하게 구현했다는 점을 새로운 기여로 꼽는다.
모델은 Hugging Face와 ModelScope에서 내려받을 수 있으며, 코드는 GitHub에 공개되어 있다. Agrawal은 이 연구의 후속으로, 하이브리드 모델이 RNN 상태에 추론을 숨겨 CoT 모니터링을 우회하는 방법과 모델 자체가 변조할 수 없는 내장 모니터링 도구로 활용하는 방법도 함께 발표했다.