中文

在线进行:适配场景坐标回归网络预测以实现在线 RGB-D 相机重定位

计算机视觉与模式识别 2019-06-21 v1 机器学习 机器人学

摘要

许多应用需要相机在线重定位,而无需在目标场景上进行昂贵的离线训练。虽然关键帧与稀疏关键点匹配方法均可在线使用,但前者常偏离训练轨迹即失效,后者在缺乏纹理区域中表现不佳。相比之下,场景坐标回归(SCoRe)方法可泛化至新位姿,并能利用稠密对应提升鲁棒性;近期工作展示了如何在不同场景间适配 SCoRe 森林,从而使其最优性能可在线发挥。然而,由于它们使用为室内手工设计的特征,对更困难室外场景泛化不佳。尽管可用神经网络替代森林并学习适合室外的特征,但用于场景间适配森林的技术却难以迁移至网络语境。本文中,我们提出一种新方法,利用在一场景上训练的网络预测另一场景中的点。我们的方法将以回归森林分支结构完成的表观聚类,替换为两步过程:首先用网络预测原场景中的点,再用这些预测点查找新场景中点的聚类。实验表明,我们的在线方法在 7-Scenes 与 Cambridge Landmarks 数据集上均达到最优性能,且运行时间低于 300ms,因而在实时场景中极为有效。

关键词

引用

@article{arxiv.1906.08744,
  title  = {Let's Take This Online: Adapting Scene Coordinate Regression Network Predictions for Online RGB-D Camera Relocalisation},
  author = {Tommaso Cavallari and Luca Bertinetto and Jishnu Mukhoti and Philip Torr and Stuart Golodetz},
  journal= {arXiv preprint arXiv:1906.08744},
  year   = {2019}
}

备注

Tommaso Cavallari and Stuart Golodetz contributed equally to this paper