GDPx测评显示:顶尖智能体复杂任务完成率仅12%
SemiAnalysis发布GDPx智能体基准,覆盖11个高价值领域;最高模型得分仅12%,显示长程自主工作仍远未成熟。
更接近真实工作的智能体考试
SemiAnalysis发布GDPx,试图衡量前沿模型能否完成持续数小时、需要多步操作的专业任务,而不只是答对一道题。首版包含206项任务,覆盖网络安全、生物、金融、法律、芯片设计、材料科学、软件工程、对齐和递归自我改进等11个领域。14家专业机构参与了任务设计,模型需要在模拟工作环境中完成任务,并接受领域化评分。
公开榜单中,Claude Opus 5.5以12.0%排名第一,Gemini 4 Carbon为10.9%,GPT-6 Astra为9.6%。总分按领域等权平均,通常基于每项任务三次尝试得出,因此更接近广泛可靠性,而不是某次演示中的最好表现。
长流程暴露了什么问题
GDPx显示,模型在金融和法律任务上的表现尤其薄弱,采用严格的二元评分时,多数系统无法完成任务。测试还捕捉到传统问答基准容易忽略的失败:智能体可能给出看似合理的分析,却越过任务边界;也可能完成了中间步骤,却没有交付完整结果;甚至会优化一个局部指标,却无法通过独立检查。在一项对齐任务中,模型获得了大量训练轨迹和工具代码,仍难以解释此前训练为何停止进步。
GDPx并非整个经济的随机抽样。其设计者有意选择预期能产生巨大经济价值的领域,部分任务还依赖合作方搭建的专业模拟器和评分器。因此,分数更适合被理解为高难度能力下限,而不是所有办公场景的普遍预测。
为什么值得关注
真正重要的不是榜首是哪家,而是当任务变长、工具变多并接受独立验收后,可靠完成率迅速下降。GDPx为企业采购提供了一个具体参照:前沿模型可以成为很强的协作者,却仍不适合无人监督地承担完整工作。SemiAnalysis计划每三至六个月更新一次,后续版本或许能进一步检验模型进步是否真的转化为可交付的经济产出。
Uncle Cat判断
GDPx最有价值的不是12%的排名,而是八小时流程揭出了短演示长期掩盖的未完成工作。