깃(Git)선제압
한국어

← 소식

로컬 AI

vLLM, Vera Rubin NVL72에서 DeepSeek-V4.1-Flash 성능 공개

올린 때 기준일

vLLM 블로그가 Vera Rubin NVL72 랙에서 DeepSeek-V4.1-Flash를 서빙한 성능을 공개했습니다. GB300 NVL72 대비 58배는 특정 상호작용성 지점의 비교라 전반적인 속도 향상으로 읽으면 안 됩니다.

무슨 일이 있었나

  • vLLM 공식 블로그 기준, 2026-11-12에 게시된 글입니다.
  • 벤치마크 프레임은 SemiAnalysis AgentX입니다.
  • (공식) 사용자당 P90 387 tokens/s 조건에서 GPU당 170만 tokens/s를 냈고, 이는 GB300 NVL72 대비 58배라고 밝혔습니다.
  • (공식) 피크 기준으로는 GPU당 252만 tokens/s, 사용자 1명 기준 1,810 tokens/s를 제시했습니다.
  • (제3자 분석) 피크 처리량 기준 격차는 2.7배라고 짚었습니다.
  • 이 글은 GB300 시리즈의 세 번째 편으로, 같은 스택을 Vera Rubin NVL72로 옮긴 결과라고 설명합니다.

우리 관점

개인이 Mac이나 PC에서 돌리는 환경과 직접 비교하기 어려운 데이터센터급 랙 결과입니다. 로컬 사용자에게 의미가 있는 것은 추론 엔진 최적화가 하드웨어 세대와 함께 어떻게 달라지는지 정도입니다. 독립 검증은 확인되지 않았고, 모델 정밀도, 배치 구성, 비용은 발췌 범위에서 확인되지 않았습니다.

출처와 관련 글

로컬 AI의 다른 소식

  1. NVIDIA, 과학 에이전트용 Nemotron for Science 공개 (nvidianews.nvidia.com)

    NVIDIA가 Nemotron 3.5 Super VL 기반 패키지를 발표했다. 화학 데이터셋과 post-training 레시피가 포함되며, IR 사본은 이 모델을 128GB DGX Spark에서 로컬 실행하도록 최적화했다고 밝혔다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  2. NVIDIA RTX Spark 소형 데스크톱 출하 시작 (blogs.nvidia.com)

    ASUS, Dell, MSI의 RTX Spark 소형 데스크톱이 발표일 기준 출시되었고, 로컬 AI 에이전트와 모델 파인튜닝용으로 소개되었다. 가격은 NVIDIA 페이지에서 확인되지 않았다.

    로컬 AI| |출처 1곳 |우리 관점 있음
  3. llama.cpp b12497, tiny-voca 지원 추가 (github.com)

    llama.cpp pre-release b12497에서 멀티모달 경로에 tiny-voca 지원이 추가되고 G2P 변환이 개선되었다. 릴리스 페이지에는 성능 수치와 대상 모델에 대한 설명이 없다.

    로컬 AI| |출처 1곳 |우리 관점 있음

소식 전체 보기