D$^2$-World：通过解耦动态流实现的高效世界模型
计算机视觉与模式识别
2024-11-27 v1
摘要
本技术报告总结了在CVPR-2024自动化系统基础模型工作坊上的预测世界模型挑战中获得第二名的解决方案。我们引入D-World，一种新颖的世界模型，通过解耦动态流有效预测未来点云。具体而言，通过现有的占据网络(如BEVDet)获取过去的语义占据。随后，占据结果作为单阶段世界模型的输入，以非自回归方式生成未来占据。为进一步简化任务，在世界模型中执行动态体素解耦。该模型通过对现有观测进行体素流变换来生成未来的动态体素，而静止体素可通过姿态变换轻松获得。因此，我们的方法在OpenScene预测世界模型基准中实现了最先进的性能，获得第二名成绩，训练速度比基线模型快超过300%。代码已公开于 https://github.com/zhanghm1995/D2-World。
引用
@article{arxiv.2411.17027,
title = {D$^2$-World: An Efficient World Model through Decoupled Dynamic Flow},
author = {Haiming Zhang and Xu Yan and Ying Xue and Zixuan Guo and Shuguang Cui and Zhen Li and Bingbing Liu},
journal= {arXiv preprint arXiv:2411.17027},
year = {2024}
}
备注
The 2nd Place and Innovation Award Solution of Predictive World Model at the CVPR 2024 Autonomous Grand Challenge