DrivingDojo数据集：推进交互式且知识丰富的驾驶世界模型
计算机视觉与模式识别
2024-10-15 v1 人工智能
摘要
驾驶世界模型因其能够建模复杂的物理动态而受到越来越多的关注。然而，由于当前驾驶数据集中视频多样性的限制，其卓越的建模能力尚未得到充分发挥。我们引入了 DrivingDojo，这是第一个专为训练具有复杂驾驶动态的交互式世界模型而设计的数据集。我们的数据集包含具有完整驾驶操作集合、多样化的多智能体交互以及丰富的开放世界驾驶知识的视频片段，为未来世界模型的发展奠定了基础。我们进一步为世界模型定义了一个动作指令跟随（AIF）基准，并展示了所提出的数据集在生成动作控制的未来预测方面的优越性。
引用
@article{arxiv.2410.10738,
title = {DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model},
author = {Yuqi Wang and Ke Cheng and Jiawei He and Qitai Wang and Hengchen Dai and Yuntao Chen and Fei Xia and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2410.10738},
year = {2024}
}
备注
Accepted to NeurIPS 2024. Project page: https://drivingdojo.github.io/