英伟达推出新的机器人开发工具库与模型

计算机图形与AI的融合，从根本上改变着机器人。

英伟达宣布推出全新的NVIDIA Omniverse库和NVIDIA Cosmos世界基础模型（WFM），加速机器人解决方案的开发和部署。

官方介绍，新的库和模型由全新NVIDIA RTX PRO服务器和NVIDIA DGX Cloud提供支持，可帮助开发者在任何地方开发物理精确的数字孪生，在仿真中捕捉和重建现实世界，生成用于训练物理 AI 模型的合成数据，并构建理解物理世界的AI智能体。

NVIDIA Omniverse 和仿真技术副总裁 Rev Lebaredian 表示：“计算机图形与AI的融合，从根本上改变着机器人。通过将AI推理与物理精准的可扩展仿真相结合，我们正帮助开发者打造未来的机器人和智能汽车，这将为各行业带来价值数万亿美元的改变。”

目前NVIDIA Omniverse 软件开发套件 (SDK) 和库均已推出，可用于构建和部署工业 AI 和机器人开发仿真应用。

其中，Omniverse SDK 推出了 MuJoCo (MJCF) 与通用场景描述 (OpenUSD) 之间的数据互操作性，支持模拟各平台的机器人；Omniverse NuRec 库和AI模型引入了 Omniverse RTX 光线追踪 3D Gaussian Splatting（3DGS）技术，这种渲染技术可帮助开发者利用传感器数据，在3D中截取、重建和模拟现实世界；NVIDIA Isaac Sim™ 5.0 和 NVIDIA Isaac Lab 2.2 开源机器人仿真和学习框架现已在 GitHub 上提供，Isaac Sim包括NuRec神经渲染和基于OpenUSD的全新机器人及传感器模式。

在客户使用方面，目前Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel和Skild AI正在采用 Omniverse库、Isaac Sim和Isaac Lab，加速AI机器人开发。

Cosmos WFM 下载量超过 200 万次，可帮助开发者通过文本、图像和视频提示大规模生成各种用于训练机器人的数据，而新模型在合成数据生成速度、模型精度、语言支持和控制方面取得了重大进步。

Cosmos Transfer-2 即将发布，它简化了提示并能从地面实况 3D 仿真场景或空间控制输入（如深度、分割、边缘和高清地图）中，快速生成逼真的合成数据。Cosmos Transfer 的精简版本将 70 个步骤的蒸馏过程简化为一个步骤，开发者能够以前所未有的速度在 NVIDIA RTX PRO 服务器上运行模型。

此外，最受关注的是拥有70亿参数的“推理”视觉语言模型Cosmos Reason。该模型依托记忆和对物理原理的理解，能赋予机器人和AI智能体“推理”能力，可作为规划模型推断具身智能体接下来可能采取的步骤，应用于数据策划、机器人规划和视频分析等领域。

Cosmos Reason 可用于机器人开发和物理 AI 应用，包括数据管理与注释，帮助开发者自动对海量、多样化的训练数据集进行高质量管理与注释；机器人规划和推理，在机器人视觉语言行为 (VLA) 模型中，充当有意识、有条理决策的大脑。Cosmos Reason 让机器人能够解读环境，并在收到复杂指令时，将其分解为任务，并运用常识执行这些任务，即使是在不熟悉的环境中；视频分析 AI 智能体基于可用于视频搜索和总结的 NVIDIA Blueprint 构建，能够从海量视频数据中提取有价值的洞察并进行根本原因分析。

目前这个模型已经投入商业化运营。英伟达披露，公司内部的机器人和自动驾驶团队正使用这个模型进行数据整理与过滤、标注以及VLA（视觉语言动作）后训练。优步（Uber）也在使用该模型为自动驾驶训练数据进行标注与生成说明。除此之外，麦格纳国际正在使用该模型开发全自动即时配送解决方案City Delivery，用来帮助车辆更快适应新城市环境。VAST Data、Milestone Systems也在交通监控自动化、视觉检测等领域应用该模型。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。

想要获取半导体产业的前沿洞见、技术速递、趋势解析，关注我们！