vLLM, Vera Rubin NVL72에서 DeepSeek-V4.1-Flash 성능 공개
올린 때 기준일
vLLM 블로그가 Vera Rubin NVL72 랙에서 DeepSeek-V4.1-Flash를 서빙한 성능을 공개했습니다. GB300 NVL72 대비 58배는 특정 상호작용성 지점의 비교라 전반적인 속도 향상으로 읽으면 안 됩니다.
무슨 일이 있었나
- vLLM 공식 블로그 기준, 2026-11-12에 게시된 글입니다.
- 벤치마크 프레임은 SemiAnalysis AgentX입니다.
- (공식) 사용자당 P90 387 tokens/s 조건에서 GPU당 170만 tokens/s를 냈고, 이는 GB300 NVL72 대비 58배라고 밝혔습니다.
- (공식) 피크 기준으로는 GPU당 252만 tokens/s, 사용자 1명 기준 1,810 tokens/s를 제시했습니다.
- (제3자 분석) 피크 처리량 기준 격차는 2.7배라고 짚었습니다.
- 이 글은 GB300 시리즈의 세 번째 편으로, 같은 스택을 Vera Rubin NVL72로 옮긴 결과라고 설명합니다.
우리 관점
개인이 Mac이나 PC에서 돌리는 환경과 직접 비교하기 어려운 데이터센터급 랙 결과입니다. 로컬 사용자에게 의미가 있는 것은 추론 엔진 최적화가 하드웨어 세대와 함께 어떻게 달라지는지 정도입니다. 독립 검증은 확인되지 않았고, 모델 정밀도, 배치 구성, 비용은 발췌 범위에서 확인되지 않았습니다.
출처와 관련 글
- vLLM 공식 블로그 1차 출처