ASIC：对齐稀疏非受限图像集合
计算机视觉与模式识别
2023-03-29 v1 人工智能
机器学习
摘要
我们提出了一种针对某一对象类别的稀疏非受限图像集合进行联合对齐的方法。大多数先前工作假设存在真值关键点标注或单一对象类别的大量图像数据集。然而，上述两种假设对于现实世界中存在的长尾对象均不成立。我们提出了一种自监督技术，直接在某一特定对象/对象类别的稀疏图像集合上优化，以获得集合间一致的稠密对应关系。我们利用预训练视觉Transformer（ViT）模型深度特征得到的成对最近邻作为含噪且稀疏的关键点匹配，并通过优化一个将图像集合联合映射到学习到的规范网格上的神经网络，使其变为稠密且准确的匹配。在CUB和SPair-71k基准上的实验表明，与现有自监督方法相比，我们的方法能够在图像集合间产生全局一致且更高质量的对应关系。代码及其他材料将在 \url{https://kampta.github.io/asic} 提供。
引用
@article{arxiv.2303.16201,
title = {ASIC: Aligning Sparse in-the-wild Image Collections},
author = {Kamal Gupta and Varun Jampani and Carlos Esteves and Abhinav Shrivastava and Ameesh Makadia and Noah Snavely and Abhishek Kar},
journal= {arXiv preprint arXiv:2303.16201},
year = {2023}
}
备注
Web: https://kampta.github.io/asic