增强的稳定视图合成
计算机视觉与模式识别
2023-03-31 v1 图形学
摘要
我们引入一种方法，以增强由自由移动相机所拍摄图像进行的新视角合成。该方法聚焦于户外场景，其中恢复准确的几何支架与相机位姿具有挑战性，导致使用最先进的稳定视图合成（SVS）方法结果较差。SVS及相关方法在户外场景中失败主要由于（i）过度依赖多视图立体（MVS）进行几何支架恢复，以及（ii）将COLMAP计算的相机位姿视为最佳可能估计，尽管已有充分研究表明MVS三维重建精度受限于场景视差，且相机位姿精度对关键点对应选择敏感。本工作受多视图几何基本原理启发，提出一种增强新视角合成方法的系统性途径。通过利用MVS与单目深度的互补特性，我们分别对近处和远处点获得更好的逐视图场景深度。此外，我们的方法通过多旋转平均图优化将相机位姿与基于图像的绘制联合优化。恢复的场景深度与相机位姿有助于更好的全场景视相关表面特征聚合。我们在流行基准数据集（如Tanks and Temples）上的大量评估显示，与先前方法相比视角合成结果有实质性提升。例如，我们的方法在Tank and Temples上显示出1.5 dB的PSNR提升。在其他基准数据集（如FVS、Mip-NeRF 360和DTU）上测试时也观察到类似统计结果。
引用
@article{arxiv.2303.17094,
title = {Enhanced Stable View Synthesis},
author = {Nishant Jain and Suryansh Kumar and Luc Van Gool},
journal= {arXiv preprint arXiv:2303.17094},
year = {2023}
}
备注
Accepted to IEEE/CVF CVPR 2023. Draft info: 13 pages, 6 Figures, 7 Tables