英伟达开源Cosmos 3四款模型,推进驾驶与机器人世界模拟
英伟达开放Cosmos 3四款模型,支持多摄像头、激光雷达和机器人动作反馈,用于交互式驾驶与机器人仿真。
英伟达扩大世界模型开放工具链
英伟达发布Cosmos 3系列四款开放权重模型,面向交互式世界模拟。模型主要服务于自动驾驶和机器人两类高难度场景,全部基于Cosmos 3 Nano进行后训练,拥有160亿可训练参数,并采用OpenMDW 1.1许可,可用于商业和非商业项目。
面向驾驶的模型能够生成同步的多摄像头和激光雷达观测。Cosmos3-Nano-Transfer-Auto可以改变天气、光照、交通和道路布局;Cosmos3-Nano-Sim-Auto则根据驾驶控制持续生成摄像头与激光雷达数据。面向机器人的Cosmos3-Nano-Sim-Bimanual,可以预测双臂机器人或相机执行动作后场景将如何变化。
从合成视频走向动作驱动环境
这次发布的重要性高于普通视频生成模型,因为它把视觉观测和控制信号连接起来。模拟器可以先更新物理状态,再由Cosmos渲染相应画面;在双臂机器人模型中,动作本身就是预测下一帧观测的输入。
这种设计可以支持闭环测试:策略执行动作,环境返回结果,新的观测再反馈给策略。英伟达还提供后训练方案、数据格式说明和推理工具,帮助开发者适配不同传感器配置和机器人形态。
限制同样明显。官方示例需要Linux、英伟达GPU、Docker和NVIDIA Container Toolkit,公开的运行方案曾在一台GB200上测试。模型也不能自动替代真实世界测试。英伟达明确表示,研究者仍需评估模拟环境在哪些任务上足以支持策略训练,又会在哪些地方产生误导。
为什么重要
开放驾驶和机器人动作条件模型,降低了机器人与自动驾驶团队开展仿真实验的门槛。更重要的是,世界模型竞争正在从“画面是否逼真”转向可复用的仿真基础设施、传感器同步和评测体系。
猫叔判断: Cosmos 3最有价值的是相机与激光雷达同步生成,但参考工作流依赖GB200,硬件门槛可能决定它能否真正普及。