若初战未捷：零样本跨域检索的测试时重排序
计算机视觉与模式识别
2025-03-03 v2
摘要
在本文中，我们介绍了一种用于零样本跨域图像检索的新方法。我们的关键贡献是一个测试时迭代无聚类重排序(Iterative Cluster-free Re-ranking)过程，其利用图库-图库特征信息在查询图像与图库图像之间建立语义关联。这使得即使相关图像不具有相似视觉特征但共享潜在语义概念时也能被检索到。该方法可与任何已有的跨域特征提取骨干网络结合以提升检索性能。然而，当与精心选择的 Vision Transformer 骨干网络及零样本检索损失组合结合时，我们的方法在 Sketchy、TU-Berlin 和 QuickDraw 基于草图的检索基准上取得了最先进(state-of-the-art, SOTA)结果。我们表明，我们的重排序也能与其他骨干网络提升性能，并优于与我们骨干网络结合使用的其他重排序方法。重要的是，与许多先前方法不同，我们方法中的组件均非专门针对基于草图的图像检索任务而设计——它可普遍应用于任何跨域零样本检索任务。因此我们也就使用 Office-Home 数据集的零样本卡通到照片与艺术到产品检索给出了新结果。项目主页：finlay-hudson.github.io/icfrr，代码见：github.com/finlay-hudson/ICFRR
引用
@article{arxiv.2303.17703,
title = {If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval},
author = {Finlay G. C. Hudson and William A. P. Smith},
journal= {arXiv preprint arXiv:2303.17703},
year = {2025}
}