基于 Querybank 归一化的跨模态检索
计算机视觉与模式识别
2022-04-20 v3
摘要
得益于大规模训练数据集、神经架构设计的进步和高效的推理，联合嵌入已成为解决跨模态检索的主导方法。在这项工作中，我们首先表明，尽管最先进的联合嵌入非常有效，但它们仍然严重受到长期存在的“hubness 问题”的困扰，即少量图库嵌入成为许多查询的最近邻。受 NLP 文献的启发，我们提出了一个简单但有效的框架，称为 Querybank 归一化（QB-Norm），它对查询相似度进行重新归一化，以考虑嵌入空间中的枢纽。QB-Norm 无需重新训练即可提高检索性能。与之前的工作不同，我们表明 QB-Norm 在无需并发访问任何测试集查询的情况下也能有效工作。在 QB-Norm 框架内，我们还提出了一种新的相似度归一化方法——动态反转 Softmax，它比现有方法鲁棒得多。我们在一系列跨模态检索模型和基准上展示了 QB-Norm，它始终将强基线提升至超越现有技术水平。代码可在 https://vladbogo.github.io/QB-Norm/ 获取。
引用
@article{arxiv.2112.12777,
title = {Cross Modal Retrieval with Querybank Normalisation},
author = {Simion-Vlad Bogolin and Ioana Croitoru and Hailin Jin and Yang Liu and Samuel Albanie},
journal= {arXiv preprint arXiv:2112.12777},
year = {2022}
}
备注
Accepted at CVPR 2022