PANews 8월 27일 소식, IT之家 보도에 따르면 엔비디아가 NVHBM 맞춤형 고대역폭 메모리를 출시했다. NVHBM은 맞춤형 HBM 베이스 다이를 사용해 기존 HBM4e보다 더 높은 대역폭, 더 낮은 전력 소비, 더 작은 칩 면적을 제공할 수 있다. 엔비디아는 NVHBM이 “선도적인 메모리 업체”와 공동으로 설계 및 검증을 완료했기 때문에, 맞춤형 칩을 개발하는 업체라면 표준 HBM을 처음부터 적용하는 것보다 NVHBM을 통해 제품을 더 빠르게 출시할 수 있을 것이라고 밝혔다.

AI 가속기에 메모리 대역폭은 매우 중요하다. 엔비디아에 따르면 표준 HBM4e와 비교해 NVHBM은 메모리 스택당 대역폭을 최대 30% 높일 수 있다. 메모리 대역폭의 제한을 받는 AI 워크로드에서 더 높은 대역폭은 더 높은 처리량을 의미하며, 예를 들어 AI 추론 시나리오에서는 초당 생성되는 토큰 수를 늘릴 수 있다. 또한 NVHBM의 전력 소비는 표준 상용 HBM4e보다 15% 낮다. 엔비디아는 아마존 산하 Annapurna Labs가 NVHBM의 첫 번째 파트너가 될 것이라고 발표했다.