基于单目视频的自监督遮挡感知光流引导三维几何感知及自适应交叉加权损失学习
计算机视觉与模式识别
2021-10-25 v3
摘要
基于自监督深度学习的 3D 场景理解方法可以克服获取密集标注真值的困难，并已取得诸多进展。然而，遮挡与运动物体仍是主要局限之一。本文中，我们探索利用自适应交叉加权损失的可学习遮挡感知光流引导自监督深度与相机位姿估计，以解决上述局限。首先，我们利用具有时间补充信息及相邻视图前后一致性的遮挡感知光度损失，探索训练可学习遮挡掩码融合的光流网络。然后，我们设计了深度-位姿与光流在几何与光度误差上的自适应交叉加权损失，以区分违背静态场景假设的运动物体。我们的方法在 KITTI、Make3D 和 Cityscapes 数据集的多个任务上展示了有前景的结果。我们也展示了在多种挑战性场景下的良好泛化能力。
引用
@article{arxiv.2108.03893,
title = {Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos},
author = {Jiaojiao Fang and Guizhong Liu},
journal= {arXiv preprint arXiv:2108.03893},
year = {2021}
}
备注
7pages,4figures