用于单目深度估计的对抗视图一致学习
计算机视觉与模式识别
2019-08-06 v1 机器学习
图像与视频处理
摘要
本文研究单目深度估计（MDE）问题。现有的 MDE 方法通常将其建模为像素级回归问题，忽略了底层几何属性。我们通过实验发现，这可能导致次优解：虽然预测的深度图在某一特定视角下呈现较小的损失值，但从不同方向观察时可能表现出较大损失。本文受多视图立体（MVS）启发，提出一种对抗视图一致学习（AVCL）框架，以迫使估计的深度图从多个视角观看均合理。为此，我们首先设计了一种可微分深度图扭曲操作，其可端到端训练，随后提出一种位姿生成器以对抗方式给定图像生成新视角。该位姿生成器与可微分深度图扭曲操作协作，鼓励深度估计网络从困难视角学习，从而生成视图一致的深度图。我们在 NYU Depth V2 数据集上评估了我们的方法，实验结果表明其相对于最先进的 MDE 方法取得了有前景的性能提升。
引用
@article{arxiv.1908.01301,
title = {Adversarial View-Consistent Learning for Monocular Depth Estimation},
author = {Yixuan Liu and Yuwang Wang and Shengjin Wang},
journal= {arXiv preprint arXiv:1908.01301},
year = {2019}
}
备注
BMVC 2019 Spotlight