用对抗训练重新思考单目深度估计
计算机视觉与模式识别
2019-06-18 v3
摘要
单目深度估计是一个被广泛研究的计算机视觉问题，具有大量应用。基于深度学习的方法已在单目图像的有监督和无监督深度估计中展现出前景。大多数现有方法将深度估计视为具有局部逐像素损失函数的回归问题。在这项工作中，我们超越现有方法，使用对抗训练来学习一个上下文感知的非局部损失函数。这种方法在块级别而非像素级别惩罚预测深度值的联合配置，使网络能够纳入更多全局信息。在该框架中，生成器学习 RGB 图像与其对应深度图之间的映射，而判别器学习从真值中区分深度图和 RGB 对。该条件 GAN 深度估计框架使用谱归一化来稳定，以防止从多样数据集中学习时发生模式崩溃。我们使用包括 U-Net 和联合 CNN-CRF 在内的多样生成器测试该方法。我们在 NYUv2、Make3D 和 KITTI 数据集上对该方法进行了基准测试，观察到对抗训练将相对误差降低了数倍，达到了最先进的性能。
引用
@article{arxiv.1808.07528,
title = {Rethinking Monocular Depth Estimation with Adversarial Training},
author = {Richard Chen and Faisal Mahmood and Alan Yuille and Nicholas J. Durr},
journal= {arXiv preprint arXiv:1808.07528},
year = {2019}
}