学习对比表征用于语义对应
计算机视觉与模式识别
2022-03-11 v2
摘要
跨语义相关图像的稠密对应已被广泛研究，但仍面临两个挑战：1）即便来自同一类别的物体，在外观、尺度和姿态上也存在巨大差异；2）标注像素级稠密对应费时费力且难以规模化。大多数现有方法侧重于设计各种基于全监督ImageNet预训练网络的匹配方法。另一方面，尽管提出了多种自监督方法来显式度量图像级相似性，像素级对应匹配仍未被充分探索。在本工作中，我们提出了一种用于语义匹配的多级对比学习方法，其不依赖任何ImageNet预训练模型。我们表明图像级对比学习是促使卷积特征在相似物体间寻找对应的关键组件，而通过在中间特征层级正则化跨实例循环一致性可进一步增强性能。在PF-PASCAL、PF-WILLOW和SPair-71k基准数据集上的实验结果表明，我们的方法优于最先进的（SOTA）方法。源代码和训练模型将公开提供。
引用
@article{arxiv.2109.10967,
title = {Learning Contrastive Representation for Semantic Correspondence},
author = {Taihong Xiao and Sifei Liu and Shalini De Mello and Zhiding Yu and Jan Kautz and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2109.10967},
year = {2022}
}