全局特征即你所需要的一切：用于图像检索与重排序
计算机视觉与模式识别
2023-08-22 v2
摘要
图像检索系统传统上采用两阶段范式，利用全局特征进行初始检索，利用局部特征进行重排序。然而，由于重排序阶段局部特征匹配带来的显著存储与计算开销，该方法的可扩展性常常受限。本文提出 SuperGlobal，一种仅使用全局特征完成两个阶段的新方法，在提升效率的同时不牺牲精度。SuperGlobal 对检索系统进行了关键增强，特别关注全局特征提取与重排序过程。在提取方面，我们发现广泛使用的 ArcFace 损失与广义均值（GeM）池化方法结合时存在次优性能，并提出若干新模块以改进 GeM 池化。在重排序阶段，我们提出一种新方法，仅通过少量图像进行特征细化来更新查询图像与排名靠前图像的全局特征，从而具有极高的计算与内存效率。我们的实验表明，在标准基准上相较当前最优（SOTA）方法有显著提升。值得注意的是，在 Revisited Oxford+1M Hard 数据集上，我们单阶段结果提升 7.1%，而两阶段增益达 3.7%，且实现了高达 64,865 倍的加速。我们的两阶段系统超越当前单阶段 SOTA 达 16.3%，以极小的时间开销为高性能图像检索系统提供了可扩展、精准的替代方案。代码：https://github.com/ShihaoShao-GH/SuperGlobal。
引用
@article{arxiv.2308.06954,
title = {Global Features are All You Need for Image Retrieval and Reranking},
author = {Shihao Shao and Kaifeng Chen and Arjun Karpur and Qinghua Cui and Andre Araujo and Bingyi Cao},
journal= {arXiv preprint arXiv:2308.06954},
year = {2023}
}
备注
ICCV23 camera-ready + appendix