基于 CNN 的实时关键点检测器与结合 Sobel 滤波及关键点候选训练的 CNN 描述子
计算机视觉与模式识别
2020-11-05 v1
摘要
局部特征检测器与描述子在诸多计算机视觉任务（如 SLAM 与三维重建）中至关重要。本文引入两个独立的 CNN——轻量级 SobelNet 与 DesNet，分别用于检测关键点与计算稠密局部描述子。检测器与描述子并行工作。Sobel 滤波器提供输入图像的边缘结构作为 CNN 的输入。对 CNN 输出图施加非极大值抑制（NMS）处理后得到关键点位置。我们为 SobelNet 的训练设计高斯损失以检测角点作为关键点。同时，DesNet 的输入为原始灰度图像，并使用 circle loss 训练 DesNet。此外，训练 DesNet 时需要 SobelNet 的输出图。我们在包括 HPatches benchmark、ETH benchmark 与 FM-Bench 在内的多个基准上评估了我们的方法。与近年 SOTA 方法相比，SobelNet 以更少的计算量取得了更优或相当的性能。在 RTX 2070 SUPER 上，对 640x480 图像，SobelNet 与 DesNet 的推理时间分别为 7.59ms 与 1.09ms。
引用
@article{arxiv.2011.02119,
title = {Realtime CNN-based Keypoint Detector with Sobel Filter and CNN-based Descriptor Trained with Keypoint Candidates},
author = {Xun Yuan and Ke Hu and Song Chen},
journal= {arXiv preprint arXiv:2011.02119},
year = {2020}
}