GitSeonjeap
日本語

← ニュース

ローカルAI

vLLMがVera Rubin NVL72でDeepSeek-V4.1-Flashの性能を公開

掲載 基準日

vLLMのブログが、Vera Rubin NVL72ラックでDeepSeek-V4.1-Flashを配信した性能を公開しました。GB300 NVL72比58倍は特定のインタラクティビティ地点での比較なので、全体的な速度向上として読んではいけません。

何があったか

  • vLLM公式ブログによると、2026-11-12に掲載された記事です。
  • ベンチマークの枠組みはSemiAnalysis AgentXです。
  • (公式) ユーザーあたりP90 387 tokens/sの条件でGPUあたり170万tokens/sを出し、これはGB300 NVL72比58倍だと明らかにしました。
  • (公式) ピーク基準ではGPUあたり252万tokens/s、ユーザー1人あたり1,810 tokens/sを示しました。
  • (第三者分析) ピークスループット基準での差は2.7倍だと指摘しています。
  • この記事はGB300シリーズの第3弾で、同じスタックをVera Rubin NVL72に移植した結果だと説明しています。

当チャンネルの見方

個人がMacやPCで動かす環境と直接比較しにくいデータセンター級ラックの結果です。ローカルユーザーにとって意味があるのは、推論エンジンの最適化がハードウェア世代とともにどう変わるかという程度です。独立検証は確認されておらず、モデル精度、バッチ構成、コストは抜粋の範囲では確認できません。

出典と関連記事

ローカルAIのほかのニュース

  1. NVIDIA、科学エージェント向けNemotron for Scienceを公開 (nvidianews.nvidia.com)

    NVIDIAがNemotron 3.5 Super VLベースのパッケージを発表した。化学データセットとpost-trainingレシピが含まれ、IRコピーによると、このモデルは128GB DGX Sparkでのローカル実行に最適化されているという。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  2. NVIDIA RTX Spark 小型デスクトップ出荷開始 (blogs.nvidia.com)

    ASUS、Dell、MSIのRTX Spark小型デスクトップが発表日時点で発売され、ローカルAIエージェントとモデルのファインチューニング向けとして紹介された。価格はNVIDIAのページで確認されなかった。

    ローカルAI| |出典1件 |当チャンネルの見方あり
  3. llama.cpp b12497、tiny-voca対応を追加 (github.com)

    llama.cpp pre-release b12497では、マルチモーダル経路にtiny-voca対応が追加され、G2P変換が改善された。リリースページには性能数値や対象モデルの説明はない。

    ローカルAI| |出典1件 |当チャンネルの見方あり

ニュース一覧