SEKD:自演化关键点检测与描述
计算机视觉与模式识别
2020-06-11 v1
摘要
受深度神经网络(DNN)在多种视觉任务上近期成功的启发,研究者已尝试利用 DNN 从图像中学习新颖的局部特征。然而,现有基于 DNN 的算法尚未取得如此显著的进展,部分原因可归于局部特征检测器与描述子之间交互特性的利用不足。为缓解这些困难,我们强调可重复性与可靠性两个期望属性,以同时概括局部特征检测器与描述子的内在与交互特性。在这些属性指导下,提出一种自监督框架,即自演化关键点检测与描述(SEKD),从未经标注的自然图像中学习先进的局部特征模型。此外,为保障性能,还专门设计了新颖的训练策略,以最小化所学特征与其属性之间的差距。我们在单应性估计、相对位姿估计与运动恢复结构任务上对所提方法进行了基准测试。大量实验结果表明,所提方法以显著优势优于流行的手工设计与基于 DNN 的方法。消融研究也验证了各关键训练策略的有效性。我们将公开发布代码及训练好的模型。
引用
@article{arxiv.2006.05077,
title = {SEKD: Self-Evolving Keypoint Detection and Description},
author = {Yafei Song and Ling Cai and Jia Li and Yonghong Tian and Mingyang Li},
journal= {arXiv preprint arXiv:2006.05077},
year = {2020}
}