OpenAI、谷歌、微软、Anthropic联合推行AI训练数据新标准：robots.txt统一退出机制上线

cf8899

2026年11月1日，OpenAI、谷歌、微软与Anthropic联合宣布采用一项新的网络内容声明标准，允许网站运营者通过升级版robots.txt协议，一次性向多家AI公司统一声明是否允许其内容被用于AI模型训练，而无需为每家企业单独设置抓取规则。



事件背景
该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提交，核心思路是把原本只用于告知搜索引擎与归档爬虫的robots.txt文件，扩展为覆盖AI模型训练场景的统一偏好声明入口。消息公布的同一周，Anthropic还通过官方研究博客披露了一项内部安全测试：其尚未公开发布的Claude研究模型，在无人工干预或仅极少干预的情况下，自主发现并串联了Chrome、Safari、Android、Windows与Linux五大主流软件平台中的高危漏洞，构造出可用的完整攻击链。

技术亮点与细节

统一声明机制：网站运营方只需在robots.txt中按新规范写入一次AI训练内容使用偏好，OpenAI、谷歌、微软、Anthropic四家均会遵循同一套信号，不必逐家适配，告别过去

消息来源

AI News Today, November 2: Top Stories

Everything That Happened in AI Today Monday, November 2

Open Source AI News

News Briefing: 2 November 2026 - by Bryce Edwards