若能匹配则来匹配我：基于非配对图像的半监督语义对应学习
计算机视觉与模式识别
2024-10-14 v2 机器学习
摘要
语义对应方法已发展到采用复杂网络来获取高质量对应关系，旨在最大化模型容量。然而，尽管性能有所提升，它们仍可能受限于训练关键点对稀缺的问题，这是训练图像有限和关键点稀疏所致。本文基于语义对应学习中存在固有的数据饥渴问题的假设，揭示出通过采用稠密化训练对可使模型得到更多训练。我们证明了一个简单的机器标注器能够通过机器监督可靠地丰富成对关键点，既不需要额外的标注关键点，也不需要来自无标签图像的可训练模块。因此，我们的模型在 SPair-71k、PF-PASCAL 和 PF-WILLOW 等语义对应学习基准上超越了当前最先进的模型，并在损坏基准上表现出更强的鲁棒性。我们的代码可在 https://github.com/naver-ai/matchme 获取。
引用
@article{arxiv.2311.18540,
title = {Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images},
author = {Jiwon Kim and Byeongho Heo and Sangdoo Yun and Seungryong Kim and Dongyoon Han},
journal= {arXiv preprint arXiv:2311.18540},
year = {2024}
}
备注
ACCV 2024, Code at https://github.com/naver-ai/matchme