DDM-NET：用于 3D 定位的关键点特征检测、描述与匹配的端到端学习
计算机视觉与模式识别
2023-02-03 v2
摘要
本文提出一个端到端框架，联合学习关键点检测、描述子表示与跨帧匹配，用于基于图像的 3D 定位任务。已有方法分别处理这些组件，声称旨在缓解有效训练整体网络的困难。我们设计了一种自监督图像变形对应损失用于特征检测与匹配，一种弱监督对极约束损失用于相对相机位姿学习，以及一种方向性匹配方案，该方案在源图像中检测关键点特征并在目标图像上执行由粗到细的对应搜索。我们利用该框架在匹配模块中强制循环一致性。此外，我们提出一种新的损失以鲁棒处理确定的内点/外点匹配与较不确定的匹配。这些学习机制的集成实现了执行全部三个定位组件的单一网络的端到端训练。在公开数据集上的基准测试表明，此类端到端框架能够产生更精确的定位，优于传统方法以及最先进的弱监督方法。
引用
@article{arxiv.2212.04575,
title = {DDM-NET: End-to-end learning of keypoint feature Detection, Description and Matching for 3D localization},
author = {Xiangyu Xu and Li Guan and Enrique Dunn and Haoxiang Li and Gang Hua},
journal= {arXiv preprint arXiv:2212.04575},
year = {2023}
}