图像点描述子的残差学习
计算机视觉与模式识别
2023-12-27 v1 机器人学
摘要
局部图像特征描述子对计算机视觉方法的发展和应用产生了巨大影响。因此，基于学习的图像点描述子研究投入巨大。然而，在实际应用中，学习方法相对于手工方法的优势并不明显，且比预期的更为微妙。此外，与许多学习型对应物相比，SIFT和SURF等手工描述子在运动恢复结构（SfM）中仍能实现更好的点定位。本文提出了一种非常简单有效的学习局部图像描述子的方法，该方法使用手工检测器和描述子。具体来说，我们选择仅学习描述子，由手工描述子支持，同时丢弃点定位头。我们通过利用手工描述子中已有的知识来优化最终描述子。这种优化方法使我们能够丢弃非可微函数（如手工描述子）中已有的学习知识，仅学习主网络分支中的残差知识。与SuperPoint的标准基线架构相比，这提供了50倍的收敛速度，而在推理时，组合描述子提供了优于学习和手工描述子的性能。这仅比基线学习描述子增加了少量计算。我们的方法在集成学习和非可微函数学习方面具有潜在应用。我们在匹配、相机定位和运动恢复结构方面进行实验，以展示我们方法的优势。
引用
@article{arxiv.2312.15471,
title = {Residual Learning for Image Point Descriptors},
author = {Rashik Shrestha and Ajad Chhatkuli and Menelaos Kanakis and Luc Van Gool},
journal= {arXiv preprint arXiv:2312.15471},
year = {2023}
}