샤오미, 1T 파라미터 모델 1000토큰/초 달성
원제: MiMo-v2.5-Pro-UltraSpeed: 1T model with 1000 tokens per second
왜 중요한가
1조 파라미터 모델의 초당 1000토큰 달성은 실시간 AI 응용 서비스의 새로운 기준점을 제시한다.
샤오미가 TileRT와 협력해 1조 파라미터 규모 AI 모델 'MiMo-V2.5-Pro-UltraSpeed'에서 초당 1000토큰 생성 속도를 최초로 달성했다고 발표했다. 6월 9일부터 23일까지 한정 베타 서비스로 제공되며, API는 기존 모델 대비 3배 비용에 10배 속도 향상을 제공한다.
샤오미는 6월 8일 TileRT와의 협력으로 개발한 'MiMo-V2.5-Pro-UltraSpeed' 모델이 1조 파라미터 규모에서 초당 1000토큰 디코딩 속도를 달성했다고 발표했다. 실제 테스트에서는 최대 1200토큰/초까지 기록했다. 이 모델은 6월 9일부터 23일까지 한정 베타 서비스로 제공되며, API는 기존 MiMo-V2.5-Pro 대비 3배 가격에 약 10배 속도 향상을 제공한다. 고속 추론 자원 한계로 인해 신청 기반으로 운영되며, 기업과 전문 개발자를 우선 승인한다. 베타 기간 중 무료 채팅 서비스도 제공되나 계정당 일일 10회 대기열 입장, 세션당 30분, 5분 유휴시 자동 종료 등의 제한이 있다. 샤오미는 이 속도가 단순한 성능 향상을 넘어 AI 패러다임 전환을 의미한다고 설명했다. Best-of-N이나 Tree Search를 통한 병렬 추론으로 사고 깊이를 높이고, 코딩 에이전트의 생산성을 획기적으로 개선하며, 실시간 의사결정 루프 진입을 가능케 한다고 강조했다.