文章目录
- 一份 10 月 30 日的 Internet-Draft 定义了 `__usage_ai-training`。网页运营方可以使用现有 `robots.txt` 语法按路径表达模型训练偏好，但是这个策略标记不会自动限制抓取。
- OpenAI 计划在未来数月内支持共同信号，Google 计划在 2027 年支持共同信号，Microsoft 将从 2027 年 2 月 1 日开始执行相关设置。共同语法目前不能证明各家已经同步实施。
- Microsoft 还把人工智能模型训练和生成时取材拆成两项独立偏好。两项偏好在没有声明时都默认为允许，而且这些偏好不会自动建立许可或付款安排。
共同标记沿用现有语法，但共同标记表达的是内容用途
Internet Engineering Task Force 数据追踪器在 10 月 30 日公布了 `draft-kelley-aipref-training-preference-signal-00`。这份草案定义了 `__usage_ai-training` 策略标记。网页运营方可以在 `robots.txt` 中使用普通的 `User-Agent`、`Disallow` 和 `Allow` 规则，把反对或同意模型训练的偏好绑定到整个网站或特定路径。草案没有增加新的指令名称，也没有改变现有路径匹配和最长匹配规则。
这份草案把人工智能模型训练定义为使用内容修改生成式人工智能模型的学习参数。草案同时明确规定，`User-Agent: *` 通配组不能被解释成训练偏好，而且 `__usage_ai-training` 不是抓取行为指令。内容使用偏好与流量管理规则可以同时写入 `robots.txt`，但是两类规则相互独立。
对企业落地而言，一个共同标记可以减少针对不同模型供应商重复维护训练规则的工作，但是这个标记不能替代抓取访问控制、身份验证、网络限制或合同许可。企业内容目录还需要区分公开网页、授权资料、客户数据和内部知识，并且每类内容仍需绑定明确的使用目的与责任边界。
三家供应商采用相同方向，但三家供应商公布了不同时间表
OpenAI 在 10 月 30 日宣布，OpenAI 将支持写入 `robots.txt` 的共同训练偏好信号。OpenAI 计划在未来数月内实施这项支持，而且 OpenAI 将继续执行现有的厂商专用抓取程序控制。OpenAI 的公告没有给出确定启用日期，也没有说明已经抓取或已经进入既有训练数据的内容会如何处理。
Google 在同日宣布，Google 计划在 2027 年支持共同信号。如果网页使用共同信号拒绝模型训练，而且网页没有显式设置 Google-Extended，Google 计划把共同拒绝信号解释成拒绝 Google-Extended。Google 同时保留 Google-Extended 等厂商专用设置。Google 还说明，显式允许 Google-Extended 的网页可以获得进入 Gemini Apps 生成时取材结果和获得相关点击的资格，但是这种资格不保证网页一定获得展示或流量。
对企业落地而言，共同语法可以提供统一的策略入口，但是企业仍需核对每个供应商的启用日期、专用规则优先级和实际抓取记录。统一配置只有在供应商真正执行相同语义后才能减少运行差异；在过渡期内，共同规则和厂商专用规则可能需要同时存在。
Microsoft 把训练与生成时取材拆成两项独立选择
Microsoft Bing 在 10 月 30 日宣布，Microsoft 将从 2027 年 2 月 1 日开始在抓取时执行新的人工智能模型训练偏好和人工智能生成时取材偏好。训练偏好可以在 `robots.txt` 中覆盖网站或路径，Microsoft 还会支持页面级训练偏好。人工智能生成时取材偏好只在页面级设置，而且该偏好决定网页内容能否帮助 Bing、Copilot、Microsoft 365 或第三方取材服务生成回答。
Microsoft 为生成时取材提供 `Allow`、`DisallowExtended` 和 `Disallow` 三种页面级选择。`DisallowExtended` 只允许 Microsoft 自营体验使用网页内容，而且该设置排除 Microsoft 向第三方提供的取材服务。训练偏好与生成时取材偏好在没有声明时都默认为允许。Microsoft 还要求继续使用 `NoArchive` 或 `NoCache` 的网页在 2027 年 3 月 1 日前迁移相关偏好，而且 Microsoft 说明发布设置不等于设置已经生效，因为 Microsoft 仍需重新抓取网页。
对企业落地而言，训练与生成时取材需要分别进入数据治理、内容授权和供应商配置。企业可以允许模型在回答时检索一项资料，同时拒绝供应商使用该资料训练未来模型；企业也可以采用相反组合。系统只有把内容路径、页面元数据、供应商抓取时间和策略版本放入同一份记录，系统才能解释某项内容在特定时间允许哪一种用途。
共同信号仍然缺少标准地位、强制执行和许可语义
Internet Engineering Task Force 数据追踪器把这份文件标记为个人提交的 Internet-Draft。数据追踪器明确说明，这份文件没有获得 Internet Engineering Task Force 背书，而且这份文件在标准流程中没有正式地位。这一版本将在 2027 年 5 月 3 日到期，除非后续版本更新、替换或推进该文件。草案还允许厂商专用偏好比共同偏好更具体，而且草案允许私人协议覆盖公开偏好。
Microsoft 明确说明，训练和生成时取材偏好不会建立许可或付款安排。Microsoft 还说明，限制生成时取材会降低内容在人工智能生成体验中的可见性，但是相关设置不会改变网页进入传统 Bing 搜索结果的资格。Google 和 OpenAI 也把现有厂商专用控制保留在共同信号之外。现有材料因此只证明三家公司公布了实施方向，现有材料不能证明所有人工智能供应商都会遵守同一信号。
对企业落地而言，机器可读偏好可以成为内容治理和供应商审计的一项证据，但是机器可读偏好不能单独证明许可、合规或技术阻断已经成立。企业仍需把合同权利、访问权限、服务器日志、供应商承诺和删除或退出机制分别保留；共同信号只能覆盖愿意识别并执行该信号的参与方。
后续观察
- Internet Engineering Task Force 的 AI Preferences 工作组能否把个人 Internet-Draft 推进为具有稳定语义和测试要求的正式标准。
- OpenAI、Google 和 Microsoft 能否公布可查询的启用日期、抓取发现时间、规则优先级和执行验证方法。
- 更多模型供应商能否采用相同训练偏好，同时继续清楚区分抓取、模型训练、生成时取材、许可和付款安排。
来源与核验
本文由英科铸数基于所列公开资料编辑撰写。事实与数据以原始来源为准；“对企业落地意味着什么”为英科铸数结合企业客户场景所作的编辑分析，不构成对第三方产品的背书。
← 返回每日观察