AI 训练拒绝可在 robots.txt 统一设置：Google、Microsoft 宣布支持，中小企业网站要先定什么

1. 发生了什么

2026年10月30日，Anthropic 的标准化负责人凯文·凯利（Kevin Kelley）向标准化组织 IETF 提交了一份 Internet-Draft，提出用 robots.txt 统一表达「是否允许用于 AI 训练」。做法是在 robots.txt 的 User-agent 行写上令牌 __usage_ai-training，其下的 Disallow 表示不希望被用于训练，Allow 表示可以；不新增指令和语法（IETF 草案）。据 ITmedia NEWS 报道，Google、Microsoft、OpenAI 当天都宣布了支持方针。

按草案的例子，在「User-Agent: __usage_ai-training」下写 Disallow: / 和 Allow: /press-kit/，就表示除 /press-kit/ 以外的内容都不希望被用于训练。这个设置并不禁止抓取本身，与现有各爬虫的专用规则相互独立；不写这个令牌，则视为对训练没有表态（ITmedia NEWS）。另外，该草案是以个人名义提交的，目前在 IETF 流程中还没有正式标准的地位。

2. 各家的支持时间

Google 在官方博客中写明，目标是在 2027 年与其他 AI 厂商一起支持。网站用共通令牌拒绝训练、且没有明确指定 Google-Extended 时，Google 计划把它视同对 Google-Extended 也选择了拒绝；Google-Extended 仍可继续使用（Google Search Central 博客）。

Microsoft 将从 2027 年 2 月 1 日起，在抓取网页时读取新设置。除了 robots.txt 的共通令牌，还能按页面分别指定「训练」和「grounding」（生成回答时参考网页内容），且页面级的训练设置优先于 robots.txt。原有的 NoArchive／NoCache 被新设置取代，正在使用的网站须在 2027 年 3 月 1 日前迁移；想继续限制 grounding 的，还要在 2026 年 12 月 15 日开放的 Bing Webmaster Tools 中登记临时设置（Microsoft Bing 博客）。

据 ITmedia NEWS 报道，OpenAI 的目标是数月内支持，并在实装时公布细节。这一点出自 ITmedia 的报道；OpenAI 的官方页面在我们的环境里打不开，未能对照原文确认（ITmedia NEWS）。该文还称 Anthropic 也在推进实装。

3. 为什么与中小企业有关

以前要逐家查 AI 公司的爬虫名称，再分别写规则。有了共通令牌，在 robots.txt 里加几行，就能向所有支持的公司表明意向。Google 说明，这一做法与欧盟 AI 法下面向通用 AI 模型提供者的行为准则相一致（Google Search Central 博客）。另一方面，Microsoft 提醒：如果连 grounding 也一并停掉，品牌在 AI 回答中的曝光会下降（Microsoft Bing 博客）。

本公司观点　拒绝被用于训练，与是否出现在 AI 回答里，是两个不同的选择。我们认为，即使不希望网站内容被拿去训练的公司，通常也希望公司名和商品出现在搜索与 AI 回答中，所以两件事应分开决定。什么都不定，价格表和原创解说文章可能在无人本意的情况下被用于训练；反过来，没弄清楚就全面拒绝，AI 在比较交易对象时可能就看不到你的名字。这两种损失，只有没做决定的公司才会承担。第一步，先把想展示的信息和想保护的信息分开列出来。

4. 中小企业现在要确认的事

打开自家网站的 robots.txt（https://自家域名/robots.txt），确认现在写了什么。WordPress 和网店服务有时由后台或制作公司自动生成
把想展示的信息（公司介绍、商品、价格）与不希望被用于训练的信息（原创解说文章、照片、会员页面）分开列出
向制作公司确认页面里有没有 NoArchive 或 NoCache 标签。如果有，对 Microsoft 而言 2027 年 3 月 1 日是迁移期限
各家支持预计在 2027 年，草案能否成为标准也未定，现在不必急着写；准备时以「Google-Extended 等各公司的单独设置是目前的手段」为前提
确认由谁来更新 robots.txt，以及是否包含在与制作公司的维护合同里

本公司展望

我们认为，未来 6 个月到 2 年里，在 robots.txt 中写明是否允许 AI 训练，会像公司概要、特定商业交易法标示一样，成为网站的基础设置。随着越来越多人用 AI 去查询、比较商品和供应商，网站既是给人看的文档，也是向 AI 声明使用方式的文档；没有表态的网站，只能任由各家的默认处理。尽早分清「不让用于训练的信息」和「想出现在 AI 回答里的信息」，并落实到网站结构和 robots.txt 的公司，才能自己决定信息被如何使用。现在正是布局的时机。

本文相关问答

用 robots.txt 拒绝 AI 训练的共通方式是什么

这是 2026 年 10 月 30 日提交给 IETF 的草案：在 robots.txt 的「User-agent: __usage_ai-training」下写 Disallow: /，即表示不希望内容被用于 AI 训练。它不是禁止抓取，不写令牌则视为没有表态。Google、Microsoft、OpenAI 已宣布支持方针，Google 目标是 2027 年。

现在就需要改写 robots.txt 吗

不必着急。Google 计划 2027 年支持，Microsoft 从 2027 年 2 月 1 日开始读取新设置，草案能否成为正式标准也未定。不过正在使用 NoArchive 或 NoCache 的网站，针对 Microsoft 需在 2027 年 3 月 1 日前迁移。请先确认现有的 robots.txt，并分清想展示和想保护的信息。

拒绝 AI 训练后，公司会从 AI 回答里消失吗

拒绝训练与生成回答时的参考（grounding）是两项不同的设置。Microsoft 允许分别指定，并提醒连 grounding 也限制的话，品牌在 AI 回答中的曝光会下降。是只拒绝训练还是连参考也停掉，请在确定想展示的信息范围之后再选。

参考来源

想在自家业务中试用

如需了解文中内容套用到贵公司业务时的做法与费用，请通过联系表单咨询。

联系我们全部文章