⚡ 猫叔的AI资讯雷达
开源模型Agent研究

七名博士生开源完整7B大模型训练链路

北京中关村学院团队公开ZGCM-1的权重、数据配方、代码、检查点和训练日志,展示代理群协作训练大模型的完整流程。

发生了什么

北京中关村学院团队发布了从零训练的7B稠密语言模型ZGCM-1。此次开源不仅包括模型权重,还覆盖预训练、中期训练和后训练阶段的检查点、训练代码、分阶段数据与配方,以及Weights & Biases训练日志。项目由7名博士生在约3个月内完成,数据处理、实验运行、集群管理和评测等环节由数百个软件代理协助完成。

论文介绍了支持256K上下文的训练方案,包括门控滑动窗口与全注意力交错结构、FP8 Muon优化器、逐步扩展上下文长度,以及把交互轨迹改写成马尔可夫决策过程的中期训练方法。团队称,该设计让16K预训练的达到目标损失速度提升约4.2倍。

为什么重要

ZGCM-1的意义不在于一款7B模型已经取代前沿系统,而在于它把通常隐藏在技术报告背后的工程过程完整摊开。公开的检查点和日志让研究者能够追踪能力在哪个阶段形成、训练在哪些环节失败,以及代理究竟怎样参与研发。

团队称,ZGCM-1在通用基准上接近同规模模型,并在部分数学推理和代理搜索测试中与更大得多的模型竞争。不过,这些结果仍需要独立复现,测试集选择也会影响结论。

更大的信号来自研发方式本身:代理群正在压缩过去需要大团队完成的一部分模型开发工作。ZGCM-1为开源社区提供了一个可复盘的“AI研发AI”案例,而不只是又一张难以解释的成绩单。

信源