文章目录
- Microsoft 已经把 GitHub Copilot Fusion 的本地模型路由作为预览能力提供给部分开发工作流,NVIDIA 则已经让 ASUS、Dell 和 MSI 的 RTX Spark 紧凑型设备进入销售阶段。软件预览和设备在售属于两个不同的成熟度状态。
- Microsoft 与 AMD 正在为 Windows Server 增加 AMD Instinct MI350P 支持。公开材料列出了 144 GB 高带宽内存、600 瓦功耗和未来预览时间,但是现场概念验证不能替代生产吞吐、并发和运维验收。
- Microsoft 在 11 月 20 日公布的 Azure 计算组合把推理、智能体编排、检索和数据处理分配给不同的加速器、中央处理器与存储配置。企业需要用同一组真实任务比较本地与云端路径,而不是只比较参数规模或峰值算力。
个人电脑开始承担可路由的本地模型任务
Microsoft 在 11 月 17 日公布了 Windows 上的混合智能能力。GitHub Copilot Fusion 可以在预览状态下把部分编码任务路由到开发人员个人电脑上的本地模型,Microsoft 列出的硬件包括 NVIDIA RTX Spark 与 AMD Ryzen AI Max 系列。Microsoft 表示,部分《财富》500 强企业正在试用这项能力。Microsoft 同时把 Copilot 的本地上下文、本地文件操作和本地模型标记为即将提供的能力,因此企业不能把这些未来功能写入当前生产能力清单。
NVIDIA 在 11 月 18 日宣布,ASUS、Dell 和 MSI 的 RTX Spark 紧凑型台式设备已经可以购买,Acer、GIGABYTE、HP 和 Microsoft 的设备仍计划后续推出。NVIDIA 列出的设备上限包括 20 核 NVIDIA Grace 中央处理器、6,144 个 CUDA 核心、128 GB 统一内存、10 千兆以太网和最高 1 petaflop 人工智能算力。NVIDIA 还表示设备能够运行 1200 亿参数模型,但是公开材料没有同时说明量化方式、上下文长度、批量大小、首 token 延迟、持续吞吐、并发、价格和各地区供货条件。
对企业落地而言,紧凑型设备可以让部分代码、文档和知识检索任务靠近数据产生位置运行,但是设备参数不能单独证明业务任务能够满足质量和时延要求。企业需要把模型文件、量化方式、运行时、驱动、内存占用、功耗、网络、设备管理和故障恢复放进同一项验收。企业还需要分别记录设备已经在售、软件仍处于预览和功能尚未提供这三种状态。
本地服务器正在连接企业应用与共享推理服务
Microsoft 在 11 月 19 日说明,Microsoft 与 AMD 正在为 Windows Server 增加 AMD Instinct MI350P 加速卡支持。该加速卡使用 144 GB HBM3E 高带宽内存,内存带宽最高为每秒 4.0 TB,功耗为 600 瓦。Microsoft 表示,单张加速卡可以在 MXFP4 条件下支持一个最高 2600 亿参数的模型,或者支持多个中小型模型和并发用户;这些数字来自厂商说明,而且参数规模与峰值算力不能证明特定企业任务已经达到目标吞吐。
Microsoft 把 Windows Server 上的 AMD Instinct MI350P 支持列为 2027 年上半年面向 Windows Server 2025 及后续版本提供的预览能力。AMD 表示,AMD Inference Microservices 和图形处理器分区会随支持能力提供,Microsoft 与 AMD 在 Microsoft Ignite 展示的开放权重模型仍属于概念验证。Microsoft 还列出了 vLLM、Foundry Local、llama.cpp 和 Windows ML 等不同本地运行入口,但是企业仍然需要按照实际服务器版本、驱动、模型格式和推理软件确认兼容范围。
对企业落地而言,本地共享推理服务可以让多个应用在企业数据附近复用加速器,而且图形处理器分区可能帮助企业为嵌入模型、小型语言模型和较大模型分配不同容量。未来软件支持和现场演示不能提前算作生产可用能力。企业需要核验服务器采购状态、机架空间、600 瓦加速卡的供电与散热、并发性能、服务隔离、模型升级、集中监控和厂商支持期限。
云端基础设施开始按推理与数据阶段拆分资源
Microsoft 在 11 月 20 日公布了 Azure Maia 300 加速器、Cobalt 200 虚拟机和多种 AMD 虚拟机配置。Microsoft 预计 Maia 300 的每瓦 token 数比该公司所称的领先图形处理器系统高 40%,而且 96 个加速器配置的机架级 token 吞吐最高达到 Maia 200 的 7 倍。上述结果属于 Microsoft 的预期与厂商对比,公开材料没有提供独立测试或完整的模型、精度、批量与延迟条件。
Microsoft 表示,Cobalt 200 虚拟机已经在 14 个区域正式提供,而且 Microsoft 计划在 2026 年底前把覆盖范围扩大到 23 个区域。Microsoft 同时把 AMD v8 Venice 虚拟机定位为适合智能体、检索增强生成和预处理的配置,并把具有本地 NVMe 存储的 AMD Lasv5 与 Laosv5 虚拟机定位为适合检索增强生成、索引和暂存的配置。该组合说明,同一个企业人工智能系统可能需要分别选择模型推理、任务编排、检索、索引和数据准备资源。
对企业落地而言,云端并不是一种单一算力,云端服务也需要按照模型推理、数据处理、检索和临时存储分别计量。企业需要在相同任务和服务等级条件下比较 token 成本、数据传输、存储输入输出、排队、故障切换和区域可用性。厂商的峰值或预期指标可以帮助企业确定测试范围,但是厂商指标不能替代企业使用自身数据与并发条件完成的成本性能测试。
本地运行把设备安全变成模型治理的一部分
Intel 在 11 月 19 日说明,人工智能个人电脑可能在内部存储模型权重、微调数据集和本地向量数据库。Intel 与 Microsoft 把 Windows 11 Pro、Intel vPro、BitLocker 和硬件安全引擎组成多层保护,而且 Intel 表示,硬件加速的 BitLocker 相比软件 BitLocker 平均减少 70% 的中央处理器周期。该数字来自合作方材料,公开页面没有给出全部设备配置、工作负载和独立复现结果。
Intel 同时指出,硬件信任根只负责提供启动基础,智能体在运行时仍然需要行为保护。Microsoft Defender 的人工智能智能体运行时保护目前处于预览阶段,而且该能力旨在检查智能体提示中的恶意威胁并阻止可能产生的有害动作。公开材料没有证明所有本地模型、工具链和第三方智能体已经获得同等覆盖,因此设备加密、运行时防护和智能体工具权限仍然需要分别核验。
对企业落地而言,企业把模型和知识数据放到个人电脑或本地服务器以后,企业需要把设备清单、磁盘加密、启动状态、身份、补丁、运行时策略和远程停用能力纳入模型治理。数据没有离开设备不等于数据已经得到充分保护。企业只有同时验证静态数据、运行进程、工具调用和设备丢失后的处置流程,企业才能证明本地路径满足数据边界要求。
后续观察
- Microsoft、NVIDIA、AMD 和设备厂商能否公开相同模型在个人电脑、紧凑型工作站、本地服务器和云端环境中的量化、上下文、批量、首 token 延迟、持续吞吐与单位成本结果。
- Windows Server 上的 AMD Instinct MI350P 支持能否按照计划进入预览,而且驱动、图形处理器分区、本地运行时和企业运维工具能否形成可复现的兼容矩阵。
- 企业能否使用统一的身份、数据权限、审计记录和业务评测,在本地与云端之间移动任务而不改变事实边界和授权结果。
来源与核验
本文由英科铸数基于所列公开资料编辑撰写。事实与数据以原始来源为准;“对企业落地意味着什么”为英科铸数结合企业客户场景所作的编辑分析,不构成对第三方产品的背书。
← 返回每日观察