⚡ 猫叔的AI资讯雷达
研究Agent开源

阿里Qwen推出面向长程智能体的弹性强化学习

阿里Qwen发布QwenGyre框架,按任务难度动态分配训练资源,并在长程软件工程任务上报告明显提升。

阿里Qwen团队推出QwenGyre,这是一套面向超长程任务智能体训练的强化学习框架。它针对智能体研发中的一个现实瓶颈:一次失败或未完成的长轨迹可能消耗大量算力,却无法提供有效学习信号。

为困难任务动态分配算力

QwenGyre通过弹性调度器,根据每条训练轨迹的难度和进展重新分配资源。与所有任务使用相同预算不同,系统会把更多计算投入仍有希望完成、但需要额外推理或执行时间的任务,同时减少对明显无效轨迹的浪费。

相关论文还提出了处理超长程强化学习的配套设计。此类任务通常包含数十万Token和数百个连续动作,最终成功往往取决于整个行动链条,因此如何把结果反馈分配到早期决策,是训练中的核心难题。测试场景包括软件工程任务,要求模型规划、调用工具,并从中间错误中恢复。

研究者将QwenGyre扩展到24000亿参数的旗舰模型后,报告NL2RepoBench得分从52.5%提升至58.5%,训练使用了最长70万Token的轨迹和48个训练步骤。这些数字来自作者自己的实验,并不等同于Qwen对其他前沿模型的总体排名。

为什么值得关注

长程智能体之所以昂贵,部分原因在于训练必须从很长、而且质量不均的行动轨迹中提取反馈。如果QwenGyre的调度方法能够迁移到更多任务,它可能减少智能体训练中的无效计算,并改善多步骤编程、研究和业务流程的训练成本。

这项工作也说明,模型竞争的重点正从短答案基准转向智能体能否稳定完成长期任务。当前仍需观察其可复现性:增益依赖大规模基础设施和特定训练细节,能否跨模型、环境和失败类型迁移尚不明确。但QwenGyre抓住了一个决定智能体能否从演示走向日常工作的关键约束。

信源