季军方案：面向 Facebook AI 图像相似度挑战赛的全局与局部双检索解法
计算机视觉与模式识别
2021-12-30 v2
摘要
作为计算机视觉的一项基础任务，图像相似度检索正面临大规模数据与图像复制攻击的挑战。本文介绍我们在 Facebook AI 主办的 2021 年图像相似度挑战赛（ISC）匹配赛道中获得季军的方案。我们提出一种结合全局描述子与局部描述子的多分支检索方法，以覆盖所有攻击情形。具体而言，我们尝试了多种策略来优化全局描述子，包括丰富的增强数据、基于单一 Transformer 模型的自监督学习、叠加检测预处理。此外，我们引入鲁棒的 SIFT 特征与 GPU Faiss 进行局部检索，弥补了全局检索的不足。最后，使用 KNN 匹配算法判断匹配并融合分数。我们展示了方法的若干消融实验，揭示了全局与局部特征的互补优势。
引用
@article{arxiv.2112.02373,
title = {3rd Place: A Global and Local Dual Retrieval Solution to Facebook AI Image Similarity Challenge},
author = {Xinlong Sun and Yangyang Qin and Xuyuan Xu and Guoping Gong and Yang Fang and Yexin Wang},
journal= {arXiv preprint arXiv:2112.02373},
year = {2021}
}
备注
This is the 3rd place solution for Facebook Image Similarity Challenge and NIPS2021 Workshop. The current first draft version will be updated later