阿里Qwen推出面向长程智能体的弹性强化学习
阿里Qwen发布QwenGyre框架,按任务难度动态分配训练资源,并在长程软件工程任务上报告明显提升。
阿里Qwen团队推出QwenGyre,这是一套面向超长程任务智能体训练的强化学习框架。它针对智能体研发中的一个现实瓶颈:一次失败或未完成的长轨迹可能消耗大量算力,却无法提供有效学习信号。
为困难任务动态分配算力
QwenGyre通过弹性调度器,根据每条训练轨迹的难度和进展重新分配资源。与所有任务使用相同预算不同,系统会把更多计算投入仍有希望完成、但需要额外推理或执行时间的任务,同时减少对明显无效轨迹的浪费。
相关论文还提出了处理超长程强化学习的配套设计。此类任务通常包含数十万Token和数百个连续动作,最终成功往往取决于整个行动链条,因此如何把结果反馈分配到早期决策,是训练中的核心难题。测试场景包括软件工程任务,要求模型规划、调用工具,并从中间错误中恢复。
研究者将QwenGyre扩展到24000亿参数的旗舰模型后,报告NL2RepoBench得分从52.5%提升至58.5%,训练使用了最长70万Token的轨迹和48个训练步骤。这些数字来自作者自己的实验,并不等同于Qwen对其他前沿模型的总体排名。
为什么值得关注
长程智能体之所以昂贵,部分原因在于训练必须从很长、而且质量不均的行动轨迹中提取反馈。如果QwenGyre的调度方法能够迁移到更多任务,它可能减少智能体训练中的无效计算,并改善多步骤编程、研究和业务流程的训练成本。
这项工作也说明,模型竞争的重点正从短答案基准转向智能体能否稳定完成长期任务。当前仍需观察其可复现性:增益依赖大规模基础设施和特定训练细节,能否跨模型、环境和失败类型迁移尚不明确。但QwenGyre抓住了一个决定智能体能否从演示走向日常工作的关键约束。