对抗训练对单目深度估计的益处
图像与视频处理
2019-10-30 v1 计算机视觉与模式识别
摘要
本文探讨在单目深度估计任务中加入对抗训练的益处。模型可在立体图像对的自我监督设置下训练，其中深度（视差）是右到左图像重建流程中的中间结果。对于图像重建与视差预测的质量，使用了包括 L1 图像重建损失与左右视差平滑在内的不同损失组合。这些为局部逐像素损失，而深度预测需要全局一致性。因此，我们将自我监督网络扩展为生成对抗网络（GAN），加入一个判别器以区分重建（伪造）图像与真实图像。我们评估了 Vanilla GAN、LSGAN 与 Wasserstein GAN 结合不同逐像素重建损失的情况。基于广泛的实验评估，我们得出结论：当且仅当重建损失未被过度约束时，对抗训练才有益。尽管对抗训练因促进全局一致性而看似有前景，但当使用受约束的重建损失结合批归一化时，非对抗训练优于（或与）任何用 GAN 训练的方法相当。基于实验评估的洞见，我们通过使用批归一化与不同输出尺度获得了最先进的单目深度估计结果。
引用
@article{arxiv.1910.13340,
title = {On the Benefit of Adversarial Training for Monocular Depth Estimation},
author = {Rick Groenendijk and Sezer Karaoglu and Theo Gevers and Thomas Mensink},
journal= {arXiv preprint arXiv:1910.13340},
year = {2019}
}
备注
11 pages, 8 tables, 5 figures, accepted at CVIU