主要AI公司支持统一的robots.txt训练退出信号
谷歌、微软、OpenAI和Anthropic支持一种通用网站信号，拟简化出版商拒绝AI训练使用内容的方式。
发生了什么
多家主要AI公司支持在robots.txt中加入统一策略标记，让网站只需一次声明，就能表达对AI训练的偏好，而不必为每个爬虫维护不同规则。谷歌表示，如果网站使用这一标记且没有单独指定Google-Extended规则，它计划将其解释为禁止Google-Extended。
该方案来自IETF的AIPREF工作。谷歌、微软、OpenAI和Anthropic已公开表示支持，Meta也被报道参与了相关讨论。这个信号面向参与的多家服务商，目标是减少企业自定义爬虫规则的数量。
为什么重要
它解决的是出版商面对的实际管理难题：不同公司的退出机制并不一致，有些还会区分模型训练、搜索抓取和产品接入。统一标记有望降低小型网站的技术负担，也让爬虫更容易一致理解网站意愿。
但这不是版权许可协议，也不会强迫所有AI公司或爬虫执行。训练退出是否会影响搜索或答案生成、通用规则与单家公司规则冲突时如何处理，以及各方如何公开执行记录，仍没有答案。
对AI行业而言，这更像制度基础设施的起点，而不是即时商业结果。如果主要爬虫广泛落实，它可能成为互联网内容授权的新底层规则；如果执行仍然自愿且不完整，网站依旧要维护供应商专属设置。
Uncle Cat判断
统一标记本身只是半成品，真正的价值要等各家公开爬虫合规记录后才能兑现。