ViewSynth:利用视图合成从深度图学习局部特征
计算机视觉与模式识别
2020-09-03 v4
摘要
廉价商用深度传感器的快速发展,使得深度图像模态下的关键点检测与匹配成为计算机视觉中的重要问题。尽管近期 RGB 局部特征学习方法取得巨大进展,将其直接迁移至深度模态会导致不尽如人意的性能。此类方法大多未对图像中可见像素之外进行显式推理。为克服这些方法的局限,我们提出 ViewSynth 框架,联合学习:(1) 利用所提对比匹配损失(Contrastive Matching Loss)从深度图学习视角不变关键点描述子;(2) 利用所提视图合成模块(View Synthesis Module)与视图合成损失(View Synthesis Loss)从不同视角合成深度图。通过学习视图合成,我们显式地促使特征提取器编码关于场景可见部分及被遮挡部分的信息。我们证明在深度模态下,ViewSynth 在 7-Scenes、TUM RGBD 与 CoRBS 等 RGB-D 数据集上的 3D 关键点匹配与相机定位任务中,于多数场景下优于 SOTA 深度与 RGB 局部特征提取技术。我们还展示了 ViewSynth 在不同数据集间 3D 关键点匹配上的泛化能力。
引用
@article{arxiv.1911.10248,
title = {ViewSynth: Learning Local Features from Depth using View Synthesis},
author = {Jisan Mahmud and Rajat Vikram Singh and Peri Akiva and Spondon Kundu and Kuan-Chuan Peng and Jan-Michael Frahm},
journal= {arXiv preprint arXiv:1911.10248},
year = {2020}
}
备注
Accepted to BMVC 2020