基于三维几何的含遮挡深度、光流与位姿无监督学习
计算机视觉与模式识别
2020-08-21 v3
摘要
在自动驾驶中，单目序列包含大量信息。单目深度估计、相机自运动估计与连续帧间的光流估计是近期备受关注的问题。通过分析上述任务，中间帧的像素被建模为三部分：刚性区域、非刚性区域与遮挡区域。在深度与位姿的联合无监督训练中，我们可以显式分割出遮挡区域。遮挡信息被用于深度、位姿与光流的无监督学习，因为由深度-位姿与光流重建的图像在遮挡区域无效。设计了一种小于均值掩码，以进一步排除深度与位姿网络训练中受运动或光照变化干扰的不匹配像素。该方法也用于排除光流网络训练中的一些琐碎不匹配像素。提出最大归一化用于深度平滑项，以抑制无纹理区域的深度退化。在遮挡区域，由于深度与相机运动能提供更可靠的运动估计，它们可用于指导光流的无监督学习。我们在 KITTI 数据集上的实验表明，基于三区域、对遮挡区域及刚性区域与非刚性区域进行完整显式分割并配以相应无监督损失的模型，能显著提升三项任务的性能。源代码见：https://github.com/guangmingw/DOPlearning。
引用
@article{arxiv.2003.00766,
title = {Unsupervised Learning of Depth, Optical Flow and Pose with Occlusion from 3D Geometry},
author = {Guangming Wang and Chi Zhang and Hesheng Wang and Jingchuan Wang and Yong Wang and Xinlei Wang},
journal= {arXiv preprint arXiv:2003.00766},
year = {2020}
}
备注
Published in: IEEE Transactions on Intelligent Transportation Systems. DOI: 10.1109/TITS.2020.3010418