NVIDIA 称全栈协同设计缓解 AI 内存压力

NVIDIA 发布技术博客称，其全栈协同设计通过缓解模型权重、KV 缓存和 RAG 数据对 HBM 的压力，让每字节 HBM 得到更充分利用，从而在单 GPU 的 HBM 容量增长有限的情况下提升推理吞吐。 NVIDIA 给出的数据是：在 SemiAnalysis AgentX 的 DeepSeek V4 Pro 负载上，每用户 100 tokens/秒时，GB300 NVL72 每美元吞吐量最高为 H200 平台的 10 倍，单 GPU 的 HBM 容量约为后者的两倍；每用户 125 tokens/秒时，Vera Rubin NVL72 每美元吞吐量最高为 GB300 NVL72 的 30 倍，而单 GPU 的 HBM 容量仅增约 3%。从 Blackwell Ultra 到 Vera Rubin，NVIDIA 称单 GPU 的 HBM 容量增幅约 3%，在 SemiAnalysis AgentX 上每美元智能体吞吐量最高提升 30 倍。上述提升幅度均为 NVIDIA 自行披露。

AI 根据报道生成 · 6 小时前更新