UDFNet：基于对抗网络的无监督视差融合
计算机视觉与模式识别
2019-05-06 v1
摘要
现有的基于深度学习的视差融合方法取得了最先进的性能，但它们需要真实视差数据来训练。据我所知，这是首次提出不使用真实视差数据的无监督视差融合。本文提出一个视差融合的数学模型，以指导对抗网络在无需真实视差数据的情况下有效训练。初始视差图从左视点连同辅助信息（梯度、左右强度图像）输入到精炼网络中，精炼网络被训练为输出配准于左视点的精炼视差图。精炼后的左视差图与左强度图像被用于重建假的右强度图像。最后，假的与真实的右强度图像（来自右立体视觉相机）被送入判别器。在模型中，精炼网络被训练为输出接近视差输入加权和的精炼视差值以进行全局初始化。随后，采用三条精炼原则进一步精炼结果。（1）最小化假的与真实的右强度图像之间的重建强度误差。（2）最大化不同感受野中假的与真实的右图像之间的相似性。（3）基于对应强度图像对精炼视差图进行平滑。对抗网络架构对该融合任务是有效的。所提网络的融合时间很小。在 Kitti2015 数据集上，当输入分辨率为 1242 * 375（宽 * 高）且无下采样与裁剪时，该网络使用 Nvidia Geforce GTX 1080Ti 可达到 90 fps。本工作的精度等于（或优于）最先进的监督方法。
引用
@article{arxiv.1904.10044,
title = {UDFNet: Unsupervised Disparity Fusion with Adversarial Networks},
author = {Can Pu and Robert B. Fisher},
journal= {arXiv preprint arXiv:1904.10044},
year = {2019}
}
备注
13 pages. arXiv admin note: text overlap with arXiv:1803.06657