ReconDreamer++: 用于驾驶场景表示的生成-重构模型协调框架
计算机视觉与模式识别
2025-07-11 v2
摘要
将重构模型与生成模型结合已成为自动驾驶闭环仿真的有前景方法之一。例如，ReconDreamer 已在渲染大规模机动动作方面取得显著成功。然而，生成数据与真实世界传感器观察之间仍存在显著差距，尤其在结构化元素（如地面表面）的保真度方面。为此，我们提出了 ReconDreamer++，一种增强框架，通过缓解领域差距并细化地面表面的表示来显著提高整体渲染质量。具体而言，ReconDreamer++ 引入了新颖轨迹可变形网络（Novel Trajectory Deformable Network, NTDNet），利用可学习的空间变形机制来弥合合成新视角与原始传感器观察之间的领域差距。此外，对于诸如地面表面等结构化元素，我们在 3D 高斯体中保留几何先验知识，优化过程聚焦于细化外观属性同时保持底层几何结构。在多个数据集（Waymo、nuScenes、PandaSet 和 EUVS）上的实验评估表明，ReconDreamer++ 的性能优于 ReconDreamer。具体而言，在 Waymo 上，ReconDreamer++ 对于原始轨迹的性能相当于 Street Gaussians，而在新轨迹上显著优于 ReconDreamer。尤其，包括 NTA-IoU 提升 6.1%、FID 改善 23.0%，以及地面表面度量 NTL-IoU 提升 4.5%，显著提升了对诸如道路表面等结构化元素的准确重建效果。
引用
@article{arxiv.2503.18438,
title = {ReconDreamer++: Harmonizing Generative and Reconstructive Models for Driving Scene Representation},
author = {Guosheng Zhao and Xiaofeng Wang and Chaojun Ni and Zheng Zhu and Wenkang Qin and Guan Huang and Xingang Wang},
journal= {arXiv preprint arXiv:2503.18438},
year = {2025}
}
备注
Project Page: https://recondreamer-plus.github.io/