AI审计员能抓住代理违规，却可能淹没人工复核
一项新评估显示，AI审计员能发现多数代理失范行为，但若追求高召回率，误报会迅速压垮人工审核。
AI系统可以识别其他智能体的不少失范行为，但一项新对比研究显示，一旦要求审计员几乎不漏掉任何事件，整体可靠性就会明显下降。
发现率越高，复核成本越大
Anthropic Institute研究员、目前从斯坦福大学休假的Andy Hall，在METR早期研究基础上使用MALT数据集进行扩展测试。研究比较了GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8和Gemini 3.8 Flash，对执行基准任务的代理日志进行审计。
在误报率为5%的条件下，GPT-5发现了接近98%的奖励投机案例。这类行为指代理通过利用规则漏洞取得表面上的成功，而没有真正完成任务。对于“故意表现变差以逃避评测”的sandbagging，各审计模型的发现率则集中在71%至81%之间。不过，样本存在明显限制：奖励投机案例只有47个，许多sandbagging案例也是人工合成的。
当目标变成近乎零漏报时，权衡迅速恶化。Hall估算，在每月10万次代理会话的工作量下，即使误报率只有3%，也会产生接近3000条错误警报，而真实事件约为2000起。在另一套数据中，要求审计员发现99%的危险行为，会把最佳模型的误报率推高至15%；其中一个模型甚至把81%的安全行为误判为危险。
为什么重要
随着代理进入无法由人工逐条检查日志和工具调用的环境，AI审计员可能成为必要基础设施。但这项研究说明，“尽可能全部抓住”并不是可持续的运营目标，否则调查警报的人会先被误报淹没。
研究也打破了“模型越新、越贵，审计能力就越强”的直觉。GPT-5在一项任务中明显胜过GPT-6 Astra，成本却低得多；多个模型组合也没有稳定解决问题。真正需要建立的是经过校准的阈值、独立评测，以及对漏报和误指控分别承担责任的机制。