文章目录
- DeepInfer 已经开放 DeepSeek-V4.1-Flash 的离线推理核心，但是 DeepInfer 明确说明，完整推理服务仍需键值缓存系统、预填充与解码分离以及数据并行副本负载均衡。
- TensorRT-LLM v1.4.0rc1 同时增加了模型支持、发布了服务配置结构并列出已知问题。该版本仍属于预发布版本，而且该版本包含破坏性应用程序接口变更。
- vLLM v0.32.0 和 SGLang v0.5.22 都在同一版本中组合了性能改进、兼容性变化与正确性修复。项目方基准提供了线索，但是项目方基准不能直接代表其他硬件、模型或企业负载。
DeepInfer 把离线推理核心与完整服务分开说明
DeepSeek 的 DeepInfer 仓库说明，DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架。当前开源版本提供 DeepSeek-V4.1-Flash 的离线推理，并且当前版本包含优化内核、并行执行、推测解码、异步调度、批量不变推理、确定性采样和结构化输出。当前说明只列出 NVIDIA SM100 图形处理器和华为昇腾 950 神经网络处理器。
DeepInfer 同一份说明还列出了完整服务没有包含的部分。完整服务仍需要键值缓存系统、视觉编码／预填充／解码分离，以及预填充与解码数据并行副本的负载均衡。DeepInfer 的性能说明把预填充测试限定为 4 个 SM100 图形处理器，把解码测试限定为 64 个 SM100 图形处理器，而且两组测试都位于单个扩展域；公开页面没有提供能够支持跨环境外推的完整性能表。
对企业落地而言，开源推理核心可以减少模型执行层的重复建设，但是开源推理核心不能自动提供流量入口、容量调度、缓存生命周期、故障切换和多租户服务。企业只有在补齐并验证这些外围组件后，才能把离线可运行状态提升为可持续运营的在线服务；项目在内部生产环境中使用的描述也不能证明开源部分已经包含同一套服务边界。
一个环境变量修复显示配置错误也属于运行边界
DeepSeek 在 10 月 25 日为 DeepInfer 提交了严格解析布尔环境变量的修复。旧实现会把除 0、空字符串、false 和 False 之外的任意值解释为真。新实现只接受不区分大小写的 0、1、false 和 true；新实现会为其他值抛出 ValueError，而不是继续使用一个可能错误的布尔状态。
这次提交只修改了 deepinfer/environ.py，而且这次提交增加 8 行并删除 1 行。修改规模很小，但是修改对象会影响通过环境变量启用或停用运行功能的结果。该提交没有提供事故记录、受影响部署数量或性能变化，因此现有证据只支持“项目收紧了配置解析”，现有证据不支持推断此前已经发生生产事故。
对企业落地而言，运行时配置需要具备明确的允许值、启动失败行为和变更记录。宽松解析可能把拼写错误转换成已启用状态，严格解析则把未知值转换成可以观察的启动错误；企业仍需使用配置结构校验、版本锁定和部署前测试确认实际服务采用了预期值。
TensorRT-LLM 把新能力、破坏性变更与已知问题放在同一预发布版本
NVIDIA 在 10 月 22 日发布 TensorRT-LLM v1.4.0rc1。该预发布版本增加 DeepSeek-V4.1-Flash 支持和 GLM-5.3-Flash 的 NVFP4 检查点支持，同时把键值缓存管理器第二版和 Python 键值缓存传输器设为默认实现。该版本还删除未使用的 LlmRequest 字段，并且该版本把这些应用程序接口变化标记为破坏性变更。
TensorRT-LLM v1.4.0rc1 的 Release 列出两个已知问题。取消流式请求后，默认 Python 键值缓存传输器在 A100 图形处理器上的分离式服务可能让生成请求因为缓存传输错误而失败；面向 Qwen3 模型的 OpenAI JSON Schema 客户端程序可能返回没有边界的响应。NVIDIA 的容器文档同时区分开发镜像、构建中间镜像和可直接运行的发布镜像，这种封装区分没有消除预发布版本的已知问题。
对企业落地而言，模型进入支持列表只证明项目提供了对应执行路径，模型进入支持列表不能证明取消处理、结构化输出、缓存传输和升级兼容性已经满足生产要求。预发布容器可以降低安装成本，但是企业仍需把已知问题、破坏性变更和回滚条件纳入版本验收。
vLLM 与 SGLang 同时改变性能路径、安全默认值和依赖条件
vLLM 在 10 月 18 日发布 v0.32.0。该版本包含 814 个提交和 363 名贡献者。该版本限制了默认跨来源资源共享的允许来源，限制了不受信任图像的格式，签署了共享内存多模态缓存句柄，并且修复了三个公开安全问题。该版本同时停止支持 Python 3.10，删除多项旧执行路径，并且重命名 Responses API 的推理流事件。
SGLang 在 10 月 19 日发布 v0.5.22。该版本包含 950 个拉取请求和 245 名贡献者，而且该版本要求 Python 3.11 或更高版本。项目版本说明称，DeepSeek-V4.1 在 H200 上的每个图形处理器吞吐最高提高 2.3 倍，GLM-5.3-Flash 在 B300 上的 DFlash 解码提高 10%；该版本还修复了推测解码与结构化输出共同使用时可能从错误 mamba 状态恢复的问题。上述性能数字来自项目方在特定模型、硬件和实现路径上的结果。
对企业落地而言，推理运行时升级会同时改变吞吐路径、安全默认值、语言运行环境和应用程序接口。企业不能只比较单个吞吐数字；企业还需要在相同模型、量化精度、上下文、批量、并发、硬件和网络条件下复测性能，并且企业需要验证旧客户端、结构化输出、工具调用、监控和回滚流程是否继续工作。
后续观察
- DeepInfer 能否把键值缓存系统、分离式服务和数据并行负载均衡纳入可复现的开源端到端服务，并且能否公布完整的测试结果。
- TensorRT-LLM v1.4.0rc1 的两个已知问题能否在正式版本前得到修复，而且正式版本能否提供清晰的迁移和回滚说明。
- DeepInfer、TensorRT-LLM、vLLM 和 SGLang 能否在相同模型、硬件、上下文、批量和并发条件下提供可复核的正确性、时延、吞吐、内存和故障测试。
来源与核验
本文由英科铸数基于所列公开资料编辑撰写。事实与数据以原始来源为准；“对企业落地意味着什么”为英科铸数结合企业客户场景所作的编辑分析，不构成对第三方产品的背书。
← 返回每日观察