Jamais Vu：揭示监督语义对应中的泛化差距
计算机视觉与模式识别
2025-11-12 v2
摘要
语义对应（SC）旨在跨同一目标类别的不同实例建立语义上有意义的匹配。我们阐述了近期的监督 SC 方法在泛化至稀疏标注训练关键点之外的能力上仍然有限，实际上仅充当关键点检测器。为了解决这一问题，我们提出了一种通过使用单目深度估计将 2D 关键点提升至规范 3D 空间来学习稠密对应关系的新方法。我们的方法构建了一个连续的规范流形，能够在无需显式 3D 监督或相机标注的情况下捕获目标几何信息。此外，我们引入了 SPair-U，即带有新颖关键点标注的 SPair-71k 的扩展，以更好地评估泛化能力。实验不仅表明我们的模型在未见关键点上显著优于监督基线，突显了其在学习鲁棒对应关系方面的有效性，还表明无监督基线在跨不同数据集泛化时优于监督方法。
引用
@article{arxiv.2506.08220,
title = {Jamais Vu: Exposing the Generalization Gap in Supervised Semantic Correspondence},
author = {Octave Mariotti and Zhipeng Du and Yash Bhalgat and Oisin Mac Aodha and Hakan Bilen},
journal= {arXiv preprint arXiv:2506.08220},
year = {2025}
}