⚡ 猫叔的AI资讯雷达
安全研究Agent开源

微软发现:少量“休眠神经元”即可植入代理后门

微软研究显示,攻击者无需重新训练模型,只改写不到十个低活跃神经元,就可能让智能体执行恶意指令。

微软研究院披露一种新的模型后门技术:攻击者只需重新编程不到十个低活跃神经元,就能让原本看似安全的模型在特定条件下变成恶意智能体。研究团队将其称为“Lazarus”,并警告称,当模型拥有终端、文件、凭证或外部工具权限时,风险尤其严重。

攻击如何实现

这种方法不需要传统意义上的重新训练。攻击者可以直接修改与低频激活神经元相关的权重,再把这些神经元串联起来,使模型识别隐藏触发器并输出多令牌攻击载荷。微软给出的示例中,一个普通智能体可能在终端出现特定日期时,下载并执行攻击者控制的代码。

这类攻击很难通过常规安全评测发现。由于恶意行为在触发前保持休眠,模型仍可能通过能力测试和拒答测试;但一旦条件满足,它就可能窃取机密、执行破坏性命令或安装其他软件,同时在日常使用中看起来没有异常。

微软表示,这项研究得到 AI 编程系统的协助,也直接涉及不断扩大的开放权重模型生态。模型采购方通常会检查基准成绩和说明文档,但这些步骤无法证明下载的权重与发布者原始文件一致,也不能保证周边软件包没有被动过手脚。

微软建议加强模型来源验证、可信发布者控制和运行环境扫描。这些措施能够降低风险,却不能替代独立的权重检查和行为测试,尤其是模型经过复制、量化、合并或二次修改之后。

为什么重要

智能体安全的核心问题正在变化。风险不只是模型会不会被提示词诱导,还包括模型文件本身是否藏有会在未来特定条件下启动的潜在能力。随着智能体获得越来越多的执行权限,模型供应链完整性将成为生产部署的基本要求。

信源