FreeVS：自由驾驶轨迹上的生成式视角合成
计算机视觉与模式识别
2024-10-24 v1
摘要
现有的基于重建的驾驶场景新视角合成方法，主要聚焦于沿自车记录轨迹合成相机视角。对于偏离记录轨迹的视点，由于相机光线未经训练，其图像渲染性能会严重下降。我们提出 FreeVS，一种新颖的全生成式方法，能够在真实驾驶场景中的自由新轨迹上合成相机视角。为了控制生成结果与真实场景在三维上保持一致且视角位姿准确，我们提出了视角先验的伪图像表示来控制生成过程。在伪图像上应用视角变换模拟，以模拟各方向上的相机运动。一旦训练完成，FreeVS 可应用于任何验证序列，无需重建过程即可在新轨迹上合成视角。此外，我们针对驾驶场景提出了两个新的挑战性基准：新相机合成和新轨迹合成，强调视角的自由度。鉴于新轨迹上无真实图像可用，我们还提出使用 3D 感知模型评估新轨迹上合成图像的一致性。在 Waymo Open Dataset 上的实验表明，FreeVS 在记录轨迹和新轨迹上均具有强大的图像合成性能。项目页面：https://freevs24.github.io/
引用
@article{arxiv.2410.18079,
title = {FreeVS: Generative View Synthesis on Free Driving Trajectory},
author = {Qitai Wang and Lue Fan and Yuqi Wang and Yuntao Chen and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2410.18079},
year = {2024}
}
备注
Project Page: https://freevs24.github.io/