Cosmos-Drive-Dreams：基于世界基础模型的可扩展合成驾驶数据生成
计算机视觉与模式识别
2025-06-19 v3
摘要
收集和标注安全关键物理 AI 系统（如自动驾驶车辆，AV）的真实世界数据既耗时又昂贵。尤其具有挑战性的是捕捉罕见边缘案例，这些案例在自动驾驶系统的训练和测试中扮演关键角色。为应对这一挑战，我们引入了 Cosmos-Drive-Dreams——一个合成数据生成（SDG）流水线，旨在生成具有挑战性的场景，以促进感知和驾驶策略训练等下游任务。驱动该流水线的是 Cosmos-Drive，一套从 NVIDIA Cosmos 世界基础模型为驾驶领域专门定制的模型，能够实现可控的、高保真的、多视角的及时空一致的驾驶视频生成。我们通过将 Cosmos-Drive-Dreams 应用于扩展驾驶数据集的数量和多样性（具有高保真度和挑战性场景）来展示这些模型的效用。实验上，我们证明生成的数据有助于缓解长尾分布问题，并增强下游任务（如 3D 车道检测、3D 目标检测和驾驶策略学习）的泛化能力。我们通过 NVIDIA 的 Cosmos 平台开源了我们的流水线工具包、数据集和模型权重。项目页面：https://research.nvidia.com/labs/toronto-ai/cosmos_drive_dreams
引用
@article{arxiv.2506.09042,
title = {Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models},
author = {Xuanchi Ren and Yifan Lu and Tianshi Cao and Ruiyuan Gao and Shengyu Huang and Amirmojtaba Sabour and Tianchang Shen and Tobias Pfaff and Jay Zhangjie Wu and Runjian Chen and Seung Wook Kim and Jun Gao and Laura Leal-Taixe and Mike Chen and Sanja Fidler and Huan Ling},
journal= {arXiv preprint arXiv:2506.09042},
year = {2025}
}
备注
Only the core contributors are listed. The full list of contributors can be found in Appendix A of this paper