面向鱼眼与透视图像的自监督兴趣点检测与描述

关键点检测与匹配是许多计算机视觉问题中的基础任务，从形状重建、运动恢复结构，到AR/VR应用与机器人技术。这是一个被充分研究的问题，取得了如SIFT等显著成功，以及更近期的深度学习方法。尽管这些技术在噪声、光照变化和刚性运动变换方面表现出很强的鲁棒性，但对于图像畸变敏感性的关注较少。在本工作中，我们关注由图像采集所用相机的几何结构引起畸变的情况，并考虑鱼眼图像与投影图像混合场景下的关键点检测与匹配问题。我们基于一种最先进的方法，推导出一种自监督流程，能够训练兴趣点检测与描述子网络。我们还收集了两个新数据集，用于在这一未被探索的场景中进行额外的训练与测试，并且证明当前方法由于专为传统投影条件设计而表现次优，而所提方法被证明是最有效的。