GESS：基于几何与语义协同的多线索引导局部特征学习
计算机视觉与模式识别
2026-04-08 v1
摘要
鲁棒的局部特征检测与描述是计算机视觉中的基础任务。现有方法主要依赖单一外观线索进行建模，导致关键点不稳定且描述子判别性不足。本文提出一种多线索引导的局部特征学习框架，利用语义线索和几何线索协同增强检测鲁棒性和描述子判别性。具体而言，我们在轻量化主干网络上构建联合语义-法线预测头和深度稳定性预测头。前者利用共享3D向量场深入耦合语义与法线线索，从而解决来自异构不一致性的优化干扰。后者从几何一致性角度量化局部区域的可靠性，为稳健关键点选择提供确定性指导。基于这些预测，我们引入语义-深度感知关键点（SDAK）机制进行特征检测。通过将语义可靠性与深度稳定性耦合，SDAK重新加权关键点响应，以抑制不可靠区域中伪特征。对于描述子构建，我们设计了统一三线索融合（UTCF）模块，采用语义调度门控机制自适应注入多属性特征，提高描述子判别性。四个基准上的大量实验验证了所提框架的有效性。该框架的源代码和预训练模型将发布于：https://github.com/yiyscut/GESS.git。
引用
@article{arxiv.2604.05359,
title = {GESS: Multi-cue Guided Local Feature Learning via Geometric and Semantic Synergy},
author = {Yang Yi and Xieyuanli Chen and Jinpu Zhang and Hui Shen and Dewen Hu},
journal= {arXiv preprint arXiv:2604.05359},
year = {2026}
}