中文

DriveFix:基于时空一致性的驾驶场景恢复

计算机视觉与模式识别 2026-03-18 v1

摘要

近期的4D场景重建技术,尤其是利用扩散先验的技术,在自动驾驶的新视角合成方面展现出广阔前景。然而,这些方法往往独立处理帧或按视角逐一处理,导致严重的时空协同性缺失,引发摄像机之间的空间错位和序列中的时间漂移。我们提出DriveFix,一种确保驾驶场景时空一致性的多视角恢复框架。该方法采用交错扩散变换器架构,配合专用模块显式建模时序依赖性和跨摄像机空间一致性。通过在历史上下文中进行条件化生成并集成几何感知训练损失,DriveFix强制恢复后的视角遵循统一的3D几何,从而实现高保真纹理的一致传递并显著减少伪影。基于Waymo、nuScenes和PandaSet数据集的大规模评估表明,DriveFix在重建和新视角合成方面实现了最新技术水平,标志着向稳健的4D世界建模迈出重要一步,为实际部署奠定基础。

关键词

引用

@article{arxiv.2603.16306,
  title  = {DriveFix: Spatio-Temporally Coherent Driving Scene Restoration},
  author = {Heyu Si and Brandon James Denis and Muyang Sun and Dragos Datcu and Yaoru Li and Xin Jin and Ruiju Fu and Yuliia Tatarinova and Federico Landi and Jie Song and Mingli Song and Qi Guo},
  journal= {arXiv preprint arXiv:2603.16306},
  year   = {2026}
}