场景感知特征匹配
计算机视觉与模式识别
2023-08-23 v2
摘要
当前特征匹配方法聚焦于点级匹配，追求单个特征更好的表示学习，却缺乏对场景的进一步理解。这导致在处理大视角与光照变化等挑战性场景时性能显著下降。为解决该问题，我们提出一种名为 SAM 的新颖模型，其应用注意力分组来引导场景感知特征匹配。SAM 通过注意力层处理多级特征（即图像 token 与组 token），并利用所提 token 分组模块对图像 token 进行分组。我们的模型可仅由真值匹配训练，并产出合理的分组结果。在感知感知分组引导（注：原文 sense-aware 应为 scene-aware 笔误，依上下文译作场景感知分组引导）下，SAM 比传统特征匹配模型不仅更准确、鲁棒，而且更具可解释性。在单应性估计、位姿估计与图像匹配等多种应用上的充分实验表明，我们的模型达到了最先进的性能。
引用
@article{arxiv.2308.09949,
title = {Scene-Aware Feature Matching},
author = {Xiaoyong Lu and Yaping Yan and Tong Wei and Songlin Du},
journal= {arXiv preprint arXiv:2308.09949},
year = {2023}
}
备注
Accepted to ICCV 2023