엔비디아, 메모리 부족 대응으로 NVFP4와 KV 캐시 계층화 설명
올린 때 기준일
엔비디아가 11월 5일 공식 블로그에서 메모리 공급이 빠듯하고 가격이 오르는 흐름이 이어질 것으로 보며, NVFP4 체크포인트와 KV 캐시 계층화로 대응한다고 설명했다. 수치는 엔비디아 주장이다.
무슨 일이 있었나
엔비디아 공식 블로그 글(2026년 11월 5일, 글쓴이 Amr Elmeleegy)을 기준으로 정리한다. 제품 발표가 아니라 설명형 글이다.
- 전망: 모델이 커지고 컨텍스트가 길어지고 에이전트 앱이 늘면서 GPU 메모리 부담이 커지고 있다. 메모리 공급은 빠듯하고 가격은 오르는 흐름이 가까운 시기에 이어질 것으로 본다. (공식)
- NVFP4 체크포인트를 낸 모델: FLUX.2 klein, Inkling(Thinking Machines Lab), Beam 1.0(Reflection), Muse Spark(Meta), Step 5 Preview(StepFun), Nemotron 3.5 Super VL(엔비디아). NVFP4는 FP8보다 공간을 덜 쓴다. (공식)
- KV 캐시 대응: 정밀도를 낮춰 더 많은 컨텍스트를 HBM에 두고, Vera CPU의 LPDDR로 멈춘 컨텍스트를 옮겨 두며, Dynamo가 비활성 컨텍스트를 CMX라는 공유 저장 계층으로 옮겼다가 되돌린다. GPU 메모리·CPU 메모리·저장소를 한 자원으로 보고 계산된 컨텍스트를 재사용하는 기능도 있다. (공식)
- 세대 비교(엔비디아 주장): Blackwell Ultra에서 Vera Rubin으로 가면서 GPU당 HBM 용량은 약 3% 늘었다. SemiAnalysis AgentX DeepSeek V4 Pro 작업(사용자당 초당 125토큰)에서 Vera Rubin NVL72가 GB300 NVL72보다 달러당 처리량이 최대 30배라고 한다. 특정 작업 기준의 제조사 수치다. (공식, 자체 주장)
글에 없는 것: 소비자용 GPU 신제품, 개인용 PC에서의 효과.
우리 관점
메모리가 부족해질수록 NVFP4 같은 4비트 형식과 KV 캐시 절감이 업계의 기본 대응이 되고 있다는 신호다. 로컬 AI에서도 이런 형식의 양자화 모델이 먼저 지원될 가능성이 있어서, 장비를 고를 때 램 용량과 지원 형식을 함께 봐야 한다. 다만 위 비용 수치는 데이터센터 구성의 엔비디아 주장이라 개인 장비에는 그대로 적용되지 않는다.