文章目录
- NVIDIA Vera Rubin NVL72 和独立 NVIDIA Vera CPU 服务已经在 Oracle Cloud Infrastructure 正式可用。Oracle Cloud Infrastructure 允许客户分别扩展中央处理器和图形处理器资源,但是 Oracle 只计划在本季度向部分区域提供 NVIDIA Vera CPU 服务。
- NVIDIA 与 Oracle 把 72 块图形处理器的机架系统、独立中央处理器服务和计划中的 8 块图形处理器系统放进同一条路线。三种形态分别处于正式可用、区域供给和未来计划状态,企业不能把三种状态写成同一种采购条件。
- AMD 表示,AMD Helios 初始系统正在 Meta 接受测试,而 AMD Instinct 图形处理器已经用于 Meta 的生产工作负载。VentureBeat 的自报调查则显示,许多企业仍未充分使用现有图形处理器,所以新平台采购还需要解释现有容量为什么闲置。
独立扩展中央处理器与图形处理器成为当天的新信号
NVIDIA 与 Oracle 在 10 月 27 日宣布,NVIDIA Vera Rubin NVL72 和 NVIDIA Vera CPU 已经在 Oracle Cloud Infrastructure 正式可用。NVIDIA Vera Rubin NVL72 的每个机架通过 NVIDIA NVLink 连接 72 块图形处理器,相关超级集群计划扩展到多吉瓦规模。两家公司同时把模型训练和推理归入图形处理器密集型任务,并且把工具执行、代码测试、数据检索和 Agent 调度归入中央处理器密集型任务。
Oracle 的技术说明称,Oracle Cloud Infrastructure 初始计划提供 150,000 颗 NVIDIA Vera CPU。每颗 NVIDIA Vera CPU 包含 88 个核心和 176 个线程,而且每颗 NVIDIA Vera CPU 的内存带宽最高达到 1.2 TB/s。双处理器实例包含 176 个中央处理器核心、352 个线程、1 TB LPDDR5X 内存、7.68 TB 本地 NVMe 存储和 200 Gbps 网络。Oracle 通过裸金属实例和灵活虚拟机实例提供该服务,因此客户可以把中央处理器服务与图形处理器基础设施分别扩展。
对企业落地而言,模型调用之间的工具执行、代码运行、检索和调度可能形成独立瓶颈。企业只有分别记录完整任务中的中央处理器时间、图形处理器时间、网络等待、数据访问和外部服务等待,才能判断新增中央处理器或新增图形处理器是否能够缩短任务时间。硬件分开扩展提供了配置选择,但是硬件分开扩展本身不能证明完整任务成本一定下降。
正式可用、区域供给和未来产品属于三种不同状态
NVIDIA 与 Oracle 把 NVIDIA Vera Rubin NVL72 和 NVIDIA Vera CPU 标记为正式可用,但是 Oracle 的 NVIDIA Vera CPU 技术说明又把实际供给限定为本季度的部分区域。Oracle 没有在这两份公开材料中提供能够直接计算企业预期成本的实例价格、区域容量和客户工作负载结果。Oracle 引用的最高 80% Agent 中央处理器性能提升来自 NVIDIA 平台基准,而不是 Oracle Cloud Infrastructure 实例级测试;实际结果仍会随工作负载和配置变化。
Oracle 还计划引入 HGX Rubin NVL8。该计划中的系统包含 8 块 Rubin 图形处理器、两颗 64 核 Intel Xeon 6 中央处理器、4 TB DDR5 内存和 6.4 Tbps 远程直接内存访问网络。该系统提供比 72 块图形处理器机架更小的配置,但是该系统仍属于未来计划。多吉瓦扩展同样描述供应商的基础设施方向,而不是单个企业必须采购的最低规模。
对企业落地而言,采购团队需要把产品发布状态、可购买区域、可交付时间、价格和测试结果分别列入验收条件。正式可用的产品仍可能受区域和容量限制,计划中的较小系统也不能在交付日期和价格公布前充当现成方案。企业只能使用相同模型、上下文、批量、并发和业务流程的测试比较不同配置。
AMD 与 Meta 把硬件选择延伸到共同设计
AMD 在 10 月 27 日宣布,Meta 已经安装 AMD Helios 初始机架系统,并且 Meta 正在测试这些系统,以准备未来更广的部署。AMD 同时说明,AMD Instinct 图形处理器已经在 Meta 的训练、排序和推荐引擎中投入生产,AMD EPYC 中央处理器则支撑 Meta Muse AI Agent 的专用计算环境。AMD 还表示,Meta 已经跨多个产品代际部署数百万颗 AMD EPYC 中央处理器。
AMD 与 Meta 的合作同时覆盖 AMD Pensando 网络、AMD ROCm 软件、PyTorch 和 Triton。AMD 表示,双方的共同设计将影响未来 AMD EPYC 中央处理器、定制 AMD Instinct 图形处理器、AMD Instinct MI500 系列和下一代机架系统。AMD 已经为 Meta Muse Spark Open 在 AMD Instinct 图形处理器上提供首日支持,并且为 Meta Muse Glimmer 在 AMD Ryzen AI PC 和 AMD Radeon 图形处理器上提供首日支持。公开材料没有提供 AMD Helios 测试的功耗、内存、价格、吞吐或供货结果。
对企业落地而言,芯片、网络、运行时和模型的共同设计可能减少兼容性等待,但是这种共同设计也会把性能结果绑定到特定软件栈和客户规模。Meta 的生产工作负载能够证明部分 AMD 组件已经实际运行,Meta 对 AMD Helios 的测试却不能证明该机架系统已经完成更广部署。企业需要把可移植性、软件版本、供应周期、支持责任和回滚路径纳入系统级比较。
低利用率调查让扩容理由接受另一层检验
VentureBeat Intelligence 汇总了 7 月、8 月和 9 月的月度调查。在 218 名报告图形处理器利用率的受访者中,79% 的受访者称其图形处理器利用率不高于 50%;其中 70% 的受访者仍计划增加、更换或补充计算平台。调查覆盖至少拥有 100 名员工的组织,而且顾问可以代表客户回答。调查结果来自受访者自报,而不是对硬件遥测数据的审计。
VentureBeat 的分析区分了三种不同原因。图形处理器可能正在等待中央处理器完成代码执行,图形处理器也可能因为没有排队任务而闲置,瓶颈还可能位于远端服务、数据库访问或应用设计。更快的中央处理器可能改善第一种情况,但是更快的中央处理器不会自动创造任务,也不会自动消除外部系统等待。现有调查没有证明哪一种原因占主导。
对企业落地而言,单一利用率数字不能单独决定扩容或缩容。企业需要把完成合格任务的总成本、响应时间、成功率、峰值容量和恢复能力放在同一套测试中,并且企业需要说明现有硬件闲置属于等待、预留还是需求不足。只有当新配置改善了完整任务结果,硬件规格提升才能转化为可核验的运营价值。
后续观察
- Oracle 能否公布 NVIDIA Vera CPU 在不同区域的实例价格、可用容量和 Oracle Cloud Infrastructure 实例级工作负载结果。
- NVIDIA、Oracle、AMD 与 Meta 能否使用相同模型、工具链、检索数据和并发条件公布中央处理器等待、图形处理器利用率、完整任务时延和总成本。
- 企业基础设施供应商能否把已交付产品、客户测试、未来计划和厂商基准放进可比较的状态与证据结构。
来源与核验
本文由英科铸数基于所列公开资料编辑撰写。事实与数据以原始来源为准;“对企业落地意味着什么”为英科铸数结合企业客户场景所作的编辑分析,不构成对第三方产品的背书。
← 返回每日观察