多模态图像中特征点的联合检测与匹配
计算机视觉与模式识别
2021-06-17 v3
摘要
在本工作中，我们提出一种新颖的卷积神经网络（CNN）架构，用于通过单次前向传播联合检测并匹配由不同传感器获取的图像中的特征点。所得特征检测器与特征描述子紧密耦合，不同于经典方法（SIFT 等）中检测阶段先于且不同于描述子计算。我们的方法利用两个 CNN 子网络，第一个为 Siamese CNN，第二个由双非权重共享 CNN 组成。这使得多模态图像块中的联合与独立线索得以同时处理与融合。实验表明，当应用于多个多模态图像数据集时，所提方法优于当前最先进方案。其还被证明可在多传感器图像间提供可重复的特征点检测，优于最先进检测器。据我们所知，这是首个针对此类图像检测与匹配的统一方法。
引用
@article{arxiv.1810.12941,
title = {Joint detection and matching of feature points in multimodal images},
author = {Elad Ben Baruch and Yosi Keller},
journal= {arXiv preprint arXiv:1810.12941},
year = {2021}
}