NVIDIA、メモリ不足への対応としてNVFP4とKVキャッシュ階層化を解説
掲載 基準日
NVIDIAは11月5日の公式ブログで、メモリの供給が逼迫し価格が上昇する流れが続くとの見方を示し、NVFP4チェックポイントとKVキャッシュ階層化で対応すると説明した。数値はNVIDIAの主張である。
何があったか
NVIDIA公式ブログの記事(2026年11月5日、執筆者Amr Elmeleegy)をもとにまとめる。製品発表ではなく解説型の記事である。
- 見通し: モデルの大型化、コンテキストの長期化、エージェントアプリの増加によりGPUメモリの負担が大きくなっている。メモリの供給は逼迫し、価格は上昇する流れが近い時期にも続くとみている。(公式)
- NVFP4チェックポイントを公開したモデル: FLUX.2 klein、Inkling(Thinking Machines Lab)、Beam 1.0(Reflection)、Muse Spark(Meta)、Step 5 Preview(StepFun)、Nemotron 3.5 Super VL(NVIDIA)。NVFP4はFP8より占有する容量が小さい。(公式)
- KVキャッシュへの対応: 精度を下げて、より多くのコンテキストをHBMに保持し、停止中のコンテキストはVera CPUのLPDDRに移す。Dynamoは非アクティブなコンテキストをCMXと呼ばれる共有ストレージ階層へ移動し、必要に応じて戻す。GPUメモリ、CPUメモリ、ストレージを一つのリソースとして扱い、計算済みのコンテキストを再利用する機能もある。(公式)
- 世代比較(NVIDIAの主張): Blackwell UltraからVera Rubinへの移行で、GPUあたりのHBM容量は約3%増えた。SemiAnalysisのAgentX DeepSeek V4 Pro作業(ユーザーあたり毎秒125トークン)では、Vera Rubin NVL72がGB300 NVL72より、ドルあたりのスループットが最大30倍になるという。特定の作業条件におけるメーカーの数値である。(公式、自社主張)
記事に含まれないこと: 消費者向けGPUの新製品、個人用PCでの効果。
当チャンネルの見方
メモリが不足するほど、NVFP4のような4ビット形式とKVキャッシュの削減が業界の標準的な対応になりつつあることを示す兆候である。ローカルAIでも、こうした形式の量子化モデルが先に対応する可能性があるため、機材を選ぶ際はRAM容量と対応形式を合わせて確認すべきである。ただし上記のコスト数値はデータセンター構成に関するNVIDIAの主張であり、個人の機材にそのまま当てはまるわけではない。