鲁棒性遇见深度学习:一种用于自运动无监督学习的端到端混合流水线
计算机视觉与模式识别
2019-02-14 v3
摘要
在本工作中,我们提出一种方法,将用于光流与单目视差的无监督深度学习预测与基于模型优化的瞬时相机位姿过程相结合。给定网络得到的光流与视差预测,我们应用 RANSAC 离群值拒绝方案以找到光流与视差的内点集,并用以最小二乘方式求解相对相机位姿。我们表明该流水线完全可微,允许我们将位姿与网络输出作为额外的无监督训练损失相结合,以进一步精炼预测的光流与视差。该方法不仅允许我们直接从网络输出回归相对位姿,还自动分割出不符合许多无监督运动恢复结构方法所采用的刚性场景假设的像素,例如独立运动物体上的像素。我们在 KITTI 数据集上评估了我们的方法,并展示了最先进的结果,即使在存在挑战性独立运动物体时也是如此。
引用
@article{arxiv.1812.08351,
title = {Robustness Meets Deep Learning: An End-to-End Hybrid Pipeline for Unsupervised Learning of Egomotion},
author = {Alex Zihao Zhu and Wenxin Liu and Ziyun Wang and Vijay Kumar and Kostas Daniilidis},
journal= {arXiv preprint arXiv:1812.08351},
year = {2019}
}
备注
10 pages, 5 figures, 7 tables