高效深度引导的城市视图合成
计算机视觉与模式识别
2025-06-23 v2
摘要
隐式场景表示的最新进展使得高保真街景新视图合成成为可能。然而，现有方法为每个场景优化一个神经辐射场，严重依赖密集的训练图像和大量的计算资源。为了缓解这一缺点，我们引入了一种名为高效深度引导的城市视图合成 (EDUS) 的新方法，用于快速前馈推理和高效的逐场景微调。与先前基于特征匹配推断几何结构的可泛化方法不同，EDUS 利用带噪声的预测几何先验作为引导，从稀疏输入图像中实现可泛化的城市视图合成。这些几何先验使我们能够直接在三维空间中应用我们的可泛化模型，从而在各种稀疏度水平下获得鲁棒性。通过在 KITTI-360 和 Waymo 数据集上的全面实验，我们展示了在新街景上良好的泛化能力。此外，结果表明，当与快速的测试时优化相结合时，EDUS 在稀疏视图设置中实现了最先进的性能。
引用
@article{arxiv.2407.12395,
title = {Efficient Depth-Guided Urban View Synthesis},
author = {Sheng Miao and Jiaxin Huang and Dongfeng Bai and Weichao Qiu and Bingbing Liu and Andreas Geiger and Yiyi Liao},
journal= {arXiv preprint arXiv:2407.12395},
year = {2025}
}
备注
ECCV2024, Project page: https://xdimlab.github.io/EDUS/