NVS-MonoDepth：利用新视角合成改进单目深度预测
计算机视觉与模式识别
2021-12-24 v1
摘要
基于新视角合成近期的进展，我们提出将其应用于改进单目深度估计。具体而言，我们提出了一种分为三个主要步骤的新训练方法。首先，将单目深度网络的预测结果扭曲到额外的视角点。其次，我们应用一个额外的图像合成网络，修正并改善扭曲RGB图像的质量。该网络的输出需要通过最小化逐像素RGB重建误差，使其看起来与真实视角尽可能相似。第三，我们在合成的第二视角点上重新应用相同的单目深度估计，并确保深度预测与相关的真实深度一致。实验结果证明，我们的方法以轻量且简单的vanilla U-Net架构在KITTI和NYU-Depth-v2数据集上达到了SOTA或可比的性能。
引用
@article{arxiv.2112.12577,
title = {NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis},
author = {Zuria Bauer and Zuoyue Li and Sergio Orts-Escolano and Miguel Cazorla and Marc Pollefeys and Martin R. Oswald},
journal= {arXiv preprint arXiv:2112.12577},
year = {2021}
}
备注
8 pages (main paper), 9 pages (supplementary material), 14 figures, 4 tables