PANews 11月6日付ニュース、NVIDIAは記事を公開し、AIモデルの規模拡大、コンテキストウィンドウの長期化、エージェントアプリケーションの普及に伴い、GPUメモリへの圧力が高まり続け、HBMの供給が逼迫し価格が上昇していると述べた。NVIDIAは、GPUメモリ容量を単純に増やすのではなく、GPU、CPU、ネットワーク、ストレージ、ソフトウェアの協調設計を通じてメモリ利用効率を高めることを提案した。
具体的には、NVIDIAはNVFP4低精度フォーマットでモデルの重みとKV Cacheを圧縮し、一時的に非アクティブなコンテキストをより低コストなストレージ層へ移し、複数GPUの分散デプロイによってHBM空間を解放する。
NVIDIAの開示によると、SemiAnalysis AgentXのテストにおいて、GB300 NVL72は特定のワークロードで単位コストあたりの推論スループットがH200プラットフォームの最大10倍に達した。Vera Rubin NVL72はGB300 NVL72と比べて単位コストあたりの推論スループットが最大30倍に向上する一方、GPU1基あたりのHBM容量の増加は約3%にとどまる。
