Cosmos-Transfer1: 基于自适应多模态控制的条件世界生成
计算机视觉与模式识别
2025-04-03 v2 人工智能
机器学习
机器人学
摘要
我们引入了 Cosmos-Transfer，一种条件世界生成模型，可根据多种空间控制输入（如分割、深度和边缘）生成世界仿真。在设计中，空间条件方案是自适应且可定制的。它允许在不同空间位置对不同的条件输入赋予不同的权重。这使得高度可控的世界生成成为可能，并适用于多种世界到世界的迁移用例，包括 Sim2Real。我们进行了广泛评估以分析所提出的模型，并展示了其在 Physical AI 中的应用，包括机器人 Sim2Real 和自动驾驶数据增强。我们进一步展示了推理扩展策略，以在使用 NVIDIA GB200 NVL72 机架的情况下实现实时世界生成。为了加速该领域的研究发展，我们开源了模型和代码，地址：https://github.com/nvidia-cosmos/cosmos-transfer1。
引用
@article{arxiv.2503.14492,
title = {Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control},
author = {NVIDIA and : and Hassan Abu Alhaija and Jose Alvarez and Maciej Bala and Tiffany Cai and Tianshi Cao and Liz Cha and Joshua Chen and Mike Chen and Francesco Ferroni and Sanja Fidler and Dieter Fox and Yunhao Ge and Jinwei Gu and Ali Hassani and Michael Isaev and Pooya Jannaty and Shiyi Lan and Tobias Lasser and Huan Ling and Ming-Yu Liu and Xian Liu and Yifan Lu and Alice Luo and Qianli Ma and Hanzi Mao and Fabio Ramos and Xuanchi Ren and Tianchang Shen and Xinglong Sun and Shitao Tang and Ting-Chun Wang and Jay Wu and Jiashu Xu and Stella Xu and Kevin Xie and Yuchong Ye and Xiaodong Yang and Xiaohui Zeng and Yu Zeng},
journal= {arXiv preprint arXiv:2503.14492},
year = {2025}
}