SimSC：一种基于温度学习的语义对应简单框架
计算机视觉与模式识别
2023-05-05 v1
摘要
我们提出SimSC，一个极其简单的框架，仅基于特征骨干网络来解决语义匹配问题。我们发现，当在语义匹配任务上微调ImageNet预训练骨干网络时，特征匹配中的标准流程——特征图的L2归一化——会产生过度平滑的匹配分布，并严重阻碍微调过程。通过对softmax设置适当的温度，可缓解这种过度平滑并大幅提升特征质量。我们采用一个学习模块来预测微调特征骨干网络的最优温度。该模块与骨干网络共同训练，温度在线更新。我们在三个公开数据集上评估了我们的方法，证明在相同骨干网络下无需使用学习的匹配头即可达到与最先进方法相当的精度。我们的方法通用且适用于各类骨干网络。我们表明，通过将本框架与更强大的骨干网络结合，其精度可轻易提升。
引用
@article{arxiv.2305.02385,
title = {SimSC: A Simple Framework for Semantic Correspondence with Temperature Learning},
author = {Xinghui Li and Kai Han and Xingchen Wan and Victor Adrian Prisacariu},
journal= {arXiv preprint arXiv:2305.02385},
year = {2023}
}