Segment Anything 模型是局部特征学习的优秀教师
计算机视觉与模式识别
2025-10-16 v3 机器学习
摘要
局部特征检测与描述在许多计算机视觉任务中发挥着重要作用，其设计目标是在“任意场景”和“任意下游任务”中检测并描述关键点。数据驱动的局部特征学习方法需要依赖像素级对应关系进行训练，而此类对应关系难以大规模获取，从而阻碍了性能的进一步提升。本文提出 SAMFeat，将已在 1100 万张图像上训练的基础模型 SAM（segment anything model，分割一切模型）作为教师来指导局部特征学习，从而在有限数据集上激发更高性能。为此，首先，我们构建了注意力加权语义关系蒸馏（ASRD）辅助任务，将 SAM 编码器学到的类别无关语义信息所对应的特征关系蒸馏到局部特征学习网络中，以利用语义判别性改善局部特征描述。其次，我们提出了基于语义分组的弱监督对比学习（WSC）技术，利用由 SAM 得到的语义分组作为弱监督信号，优化局部描述子的度量空间。第三，我们设计了边缘注意力引导（EAG），通过提示网络更多关注由 SAM 引导的边缘区域，进一步提升局部特征检测与描述的精度。SAMFeat 在 HPatches 上的图像匹配以及 Aachen Day-Night 上的长期视觉定位等多种任务中展现出了优于以往局部特征的性能。发布代码见 https://github.com/vignywang/SAMFeat。
引用
@article{arxiv.2309.16992,
title = {Segment Anything Model is a Good Teacher for Local Feature Learning},
author = {Jingqian Wu and Rongtao Xu and Zach Wood-Doughty and Changwei Wang and Shibiao Xu and Edmund Y. Lam},
journal= {arXiv preprint arXiv:2309.16992},
year = {2025}
}