PANews 11월 6일 소식. 엔비디아는 글을 통해 AI 모델 규모가 확대되고 컨텍스트 윈도우가 길어지며 에이전트 애플리케이션이 보편화되면서 GPU 메모리 압박이 계속 커지고 있으며, HBM 공급이 타이트해지고 가격이 상승하고 있다고 밝혔다. 엔비디아는 GPU 메모리 용량을 단순히 늘리는 것이 아니라 GPU, CPU, 네트워크, 스토리지 및 소프트웨어의 공동 설계를 통해 메모리 사용 효율을 높이는 방안을 제시했다.
구체적으로 엔비디아는 NVFP4 저정밀도 포맷으로 모델 가중치와 KV Cache를 압축하고, 일시적으로 비활성 상태인 컨텍스트를 비용이 더 낮은 스토리지 계층으로 옮기며, 멀티 GPU 분산 배포를 활용해 HBM 공간을 확보한다.
엔비디아는 SemiAnalysis AgentX 테스트에서 GB300 NVL72가 특정 워크로드 기준 단위 비용당 추론 처리량이 H200 플랫폼의 최대 10배에 달했다고 공개했다. 또한 Vera Rubin NVL72는 GB300 NVL72 대비 단위 비용당 추론 처리량이 최대 30배 향상됐지만, GPU당 HBM 용량은 약 3%만 증가했다.
