用于深度与自运动自监督学习的神经射线曲面
计算机视觉与模式识别
2020-08-18 v1 机器学习
机器人学
摘要
自监督学习已成为深度与自运动估计的有力工具，在基准数据集上取得了最先进的结果。然而，当前方法的一个显著局限是假设已知的参数化相机模型——通常是标准针孔几何——导致在应用于明显偏离该假设的成像系统（例如折反射相机或水下成像）时失效。在本工作中，我们展示自监督可用于学习准确的深度与自运动估计，而无需相机模型的先验知识。受 Grossberg 和 Nayar 几何模型的启发，我们引入神经射线曲面（NRS），即表示逐像素投影射线的卷积网络，可近似广泛的相机类型。NRS 完全可微，并可从无标签原始视频中端到端学习。我们展示了 NRS 在来自多种相机系统（包括针孔、鱼眼和折反射）的原始视频中用于视觉里程计与深度估计的自监督学习。
引用
@article{arxiv.2008.06630,
title = {Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion},
author = {Igor Vasiljevic and Vitor Guizilini and Rares Ambrus and Sudeep Pillai and Wolfram Burgard and Greg Shakhnarovich and Adrien Gaidon},
journal= {arXiv preprint arXiv:2008.06630},
year = {2020}
}