SDF-GAN：基于多尺度对抗网络的半监督视差融合
计算机视觉与模式识别
2019-05-07 v3
摘要
融合不同算法生成的原始视差图以利用其互补优势仍是一项具有挑战性的任务。不确定性估计以及像素间复杂的视差关系限制了现有方法的精度与鲁棒性，且目前尚无融合不同类型深度数据的标准方法。本文引入了一种新方法来融合来自不同源的视差图，同时将补充信息（强度、梯度等）融入精炼网络以更好地优化原始视差输入。判别器网络在不同感受野和尺度下对视差进行分类。对精炼后的视差图假设马尔可夫随机场，能够更好地估计真实的视差分布。本文提出了该算法的全监督和半监督两个版本。该方法包含一个更鲁棒的损失函数以修复无效视差值，并在半监督学习模式下训练所需的标注数据量大幅减少。该算法可推广至融合来自不同类型深度源的深度数据。实验探索了不同的融合场景：双目-单目融合、双目-ToF融合以及双目-双目融合。实验表明，在公开合成数据集（Scene Flow、SYNTH3、我们的合成花园数据集）和真实数据集（Kitti2015数据集和Trimbot2020花园数据集）上，所提算法优于最新的算法。
引用
@article{arxiv.1803.06657,
title = {Sdf-GAN: Semi-supervised Depth Fusion with Multi-scale Adversarial Networks},
author = {Can Pu and Runzi Song and Radim Tylecek and Nanbo Li and Robert B Fisher},
journal= {arXiv preprint arXiv:1803.06657},
year = {2019}
}
备注
This is our draft and accepted by the journal Remote Sensing. There is a little difference between the title on Arxiv and that on Remote Sensing. Two small corrections have been made in "Performance on Kitti2015 Dataset" in this latest version (which is slightly different from the previous version in Remote Sensing)