基于生成式先验的自由轨迹驾驶视图合成

沿自由形式轨迹进行驾驶视图合成对于实现真实的驾驶仿真至关重要，使其能够在闭环中评估端到端驾驶策略。现有方法在记录路径上的视图插值方面表现出色，但由于驾驶视频中的视角有限，难以泛化到新轨迹。为解决这一挑战，我们提出了 DriveX，一种新的自由形式驾驶视图合成框架，通过逐步将生成式先验（generative prior）蒸馏到 3D 高斯模型中以实现优化。在该框架中，我们利用视频扩散模型来细化来自训练中 3D 高斯模型对新轨迹渲染结果中的退化部分，而恢复后的视频反过来又作为优化 3D 高斯模型的额外监督。具体而言，我们构建了基于填充的视频修复任务，该任务能够将退化区域的识别与扩散模型的生成能力分离，从而无需在扩散模型训练期间模拟特定的退化模式。为进一步增强生成内容的一致性和保真度，我们采用逐步更新的伪ground truth（pseudo ground truth），即逐步改进的新轨迹渲染结果，以允许两个组件共同适应并相互强化，同时最小化对优化的干扰。通过将 3D 场景表示与生成式先验紧密集成，DriveX 能够在实时内实现超越记录轨迹的高质量视图合成——为自由形式轨迹上的灵活且真实的驾驶仿真开辟了新的可能性。