PANews 8月27日のニュース、IT之家の報道によると、NVIDIAはカスタム高帯域幅メモリ「NVHBM」を発表した。同メモリはカスタムHBMベースダイを採用しており、従来のHBM4eと比較して、より高い帯域幅、より低い消費電力、より小さいチップ面積を提供できる。NVIDIAによると、NVHBMは「大手メモリメーカー」と共同で設計・検証を完了しており、そのためカスタムチップを開発する企業にとって、標準HBMをゼロから採用するよりも、NVHBMは製品をより早く投入するのに役立つと期待される。

AIアクセラレーターにとって、メモリ帯域幅は極めて重要だ。NVIDIAによると、標準HBM4eと比較して、NVHBMはメモリスタックごとの帯域幅を最大30%向上できる。メモリ帯域幅に制約されるAIワークロードでは、帯域幅の向上はスループットの向上を意味し、例えばAI推論シナリオでは、毎秒生成されるトークン数を増やすことができる。さらに、NVHBMの消費電力は標準の商用HBM4eより15%低い。NVIDIAはまた、Amazon傘下のAnnapurna LabsがNVHBMの最初のパートナーになると発表した。