δ-mem: 대형언어모델 효율적 온라인메모리
원제: δ-mem: Efficient Online Memory for Large Language Models
왜 중요한가
대형언어모델의 메모리 효율성을 획기적으로 개선하여 장기 AI 서비스 구축에 새로운 접근법을 제시
연구진이 대형언어모델의 장기 정보 활용을 위한 경량 메모리 메커니즘 δ-mem을 개발했다고 발표했다. 8×8 크기의 온라인 메모리 상태로 기존 모델 대비 평균 1.10배 성능 향상을 달성했으며, 메모리 집약적 벤치마크에서는 1.31배까지 성능이 개선됐다.
대형언어모델이 장기 어시스턴트와 에이전트 시스템에서 과거 정보를 축적하고 재사용해야 하는 필요성이 증가하고 있다. 기존의 컨텍스트 윈도우 확장 방식은 비용이 많이 들고 효과적인 컨텍스트 활용을 보장하지 못한다는 한계가 있었다. 연구팀이 제안한 δ-mem은 냉동된 풀어텐션 백본에 연상 메모리의 컴팩트한 온라인 상태를 추가하는 경량 메모리 메커니즘이다. δ-mem은 과거 정보를 고정 크기 상태 행렬로 압축하고 델타 규칙 학습으로 업데이트하며, 생성 과정에서 백본의 어텐션 계산에 저차원 수정을 제공한다. 8×8 온라인 메모리 상태만으로도 냉동된 백본 대비 평균 1.10배, 가장 강력한 비δ-mem 메모리 기준선 대비 1.15배의 성능 향상을 달성했다. MemoryAgentBench에서 1.31배, LoCoMo에서 1.20배의 더 큰 성능 향상을 보였으며, 일반 능력은 크게 보존됐다. 이는 완전 파인튜닝, 백본 교체, 명시적 컨텍스트 확장 없이도 어텐션 계산과 직접 결합된 컴팩트한 온라인 상태를 통해 효과적인 메모리를 구현할 수 있음을 보여준다.