用于尺度一致无监督深度与位姿预测的掩码GAN
计算机视觉与模式识别
2021-04-14 v3 图像与视频处理
摘要
先前的工作表明,对抗学习可用于无监督单目深度和视觉里程计(VO)估计,其中对抗损失和几何图像重建损失被用作主要监督信号来训练整个无监督框架。然而,对抗框架和图像重建的性能通常受到遮挡和帧间视野变化的限制。本文提出一种掩码生成对抗网络(GAN)用于无监督单目深度和自我运动估计。该框架中设计了MaskNet和布尔掩码方案,分别消除遮挡以及视野变化对重建损失和对抗损失的影响。此外,我们还通过利用一种新的尺度一致性损失来考虑位姿网络的尺度一致性,因此,我们的位姿网络能够在一长段单目序列上提供完整的相机轨迹。在KITTI数据集上的大量实验表明,本文提出的每个组件都对性能有所贡献,并且我们的深度和轨迹预测在KITTI和Make3D数据集上均取得了具有竞争力的性能。
引用
@article{arxiv.2004.04345,
title = {Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency},
author = {Chaoqiang Zhao and Gary G. Yen and Qiyu Sun and Chongzhen Zhang and Yang Tang},
journal= {arXiv preprint arXiv:2004.04345},
year = {2021}
}
备注
11 pages, 7 figures