利用多重掩码从单目视频无监督学习深度与自运动
计算机视觉与模式识别
2021-04-02 v1 机器人学
摘要
本文提出一种利用单目视频中多重掩码进行深度与自运动无监督学习的新方法。深度估计网络与自运动估计网络根据深度与自运动的约束进行训练，无需真值。我们方法的主要贡献是仔细考虑了相邻帧相互投影时所产生的像素遮挡问题，以及投影目标成像平面中产生的空白问题。设计了两种精细掩码以解决由相机运动引起的大部分图像像素不匹配。此外，考虑了一些相对罕见的情况，并提出了重复掩蔽。该方法在某种程度上是利用几何关系过滤不匹配像素用于训练，使无监督学习更高效准确。在KITTI数据集上的实验表明，我们的方法在深度与自运动方面取得了良好性能。通过在低质量未标定自行车视频数据集上训练并在KITTI数据集上评估，证明了我们方法的泛化能力，结果依然良好。
引用
@article{arxiv.2104.00431,
title = {Unsupervised Learning of Monocular Depth and Ego-Motion Using Multiple Masks},
author = {Guangming Wang and Hesheng Wang and Yiling Liu and Weidong Chen},
journal= {arXiv preprint arXiv:2104.00431},
year = {2021}
}
备注
Accepted to ICRA 2019