自动驾驶测试车上安装的摄像头和激光雷达传感器特写

· 译自西班牙语原文

开放模型

英伟达开放四款 Cosmos 3 模型,用于实时模拟驾驶和机器人

这四款 160 亿参数的模型可同步生成视频和激光雷达数据,用于在虚拟环境中训练和测试汽车与机器人,权重开放,许可协议允许商业使用,企业可按自己的传感器加以调整。

发生了什么

  • 2026年11月5日,英伟达在 Hugging Face 博客上发布了其 Cosmos 3 世界模型系列的四个新的开放权重版本。
  • Cosmos3-Nano-Transfer-Auto 可生成多视角驾驶数据,涵盖不同的天气、光照和时段。Cosmos3-Nano-Sim-Auto 以流式方式输出同步的摄像头和激光雷达观测数据,用于驾驶模拟。
  • Cosmos3-Nano-Sim-Transfer 把模拟器的控制信号和文字提示变成照片级逼真的视频。Cosmos3-Nano-Sim-Bimanual 则根据机器人或摄像头的动作预测视频。
  • 这四个模型都是在 Cosmos 3 Nano 的基础上经过后训练得到的,各有 160 亿个可训练参数。

为什么重要

  • 世界模型是一种方法:无需让汽车或机器人上路,也不必冒损坏设备的风险,就能检验它们按某种方式行动会发生什么。
  • 在驾驶场景中,外观和几何必须一致。同时生成摄像头和激光雷达数据,把看到的画面与三维测量联系了起来。
  • 由于这些权重是开放的,实验室和企业可以让模型适配自己的传感器,而不必从头开始。

关键数字

11 路摄像头视角。 这是 Cosmos3-Nano-Transfer-Auto 能够生成的同步视角数量,其中包括鱼眼镜头,还可以选择联合生成激光雷达和地图,用来控制场景结构和交通运动。

背景

Cosmos3-Nano-Transfer-Auto 不受时间压力限制:它用于离线生成数据,并改变环境条件,以扩大训练和评估的案例范围。它也是让 Cosmos 适配用户自己摄像头和激光雷达配置的基础。完成这一调整后,还可以经过因果训练和少步蒸馏,实现流式模拟,Cosmos3-Nano-Sim-Auto 就是这样得到的。

许可协议为 OpenMDW1.1,在其条款下允许商业和非商业使用。英伟达自己也提醒说,接下来的工作是衡量这些模型在训练和评估控制策略时究竟在哪些方面真正有帮助,了解它们的局限,并在不足之处加以改进。

我们在 Mamífero 持续关注这条路线。我们报道过韩国启用了拥有 12 台人形机器人的数据工厂,以及Mundo 把几张房间照片变成可探索的世界。还有Rivian 收购 Third Dimension,以重现真实的驾驶场景,以及英伟达把 Nemotron 3.5 Transcribe 作为开放模型发布。

接下来

  • 英伟达提供后训练方案和技术报告,方便其他人调整模型并比较方法。
  • 真正的检验来自使用者:这些模拟能否提升真实汽车和机器人的表现。
  • 对场景和交通信号的控制,将使人们能够研究驾驶策略在它们变化时如何响应。

一句话总结

英伟达这次交付的不是一辆车或一台机器人,而是一个排练它们的地方。这个地方与现实世界到底有多像,是公司自己留下的问题。

来源

  • Nvidia,“New NVIDIA Cosmos 3 Open Models for Interactive World Simulation”,Hugging Face 博客,2026年11月5日,链接。
  • 封面图片:9yz,CC BY 4.0,来自 Wikimedia Commons

编辑:Rodrigo Cornejo。我们如何挑选和核实:谁在写这些笔记。

相关笔记

← 全部笔记