基于单目视频的实例级深度与运动学习
计算机视觉与模式识别
2020-04-09 v2 机器学习
机器人学
摘要
我们提出了一种端到端联合训练框架，在无监督条件下对单目相机设置中多个动态对象的 6-DoF 运动、自运动与深度进行显式建模。我们的技术贡献有三方面。首先，我们提出一个可微分的前向刚性投影模块，该模块在我们的实例级深度与运动学习中起关键作用。其次，我们设计了一种实例级光度与几何一致性损失，有效分解背景与运动对象区域。最后，我们引入一种新的自动标注方案来生成视频实例分割图，用作我们训练流程的输入。这些提出的组件在详细的消融研究中得到验证。通过在 KITTI 数据集上进行大量实验，我们的框架被证明优于最先进的深度与运动估计方法。我们的代码与数据集将发布于 https://github.com/SeokjuLee/Insta-DM。
引用
@article{arxiv.1912.09351,
title = {Instance-wise Depth and Motion Learning from Monocular Videos},
author = {Seokju Lee and Sunghoon Im and Stephen Lin and In So Kweon},
journal= {arXiv preprint arXiv:1912.09351},
year = {2020}
}
备注
Project page at https://sites.google.com/site/seokjucv/home/instadm