平衡之举：利用查询与图库银行缓解跨模态检索中的枢纽性问题
机器学习
2023-10-19 v1
摘要
本工作中，我们提出一种后处理方案以解决跨模态检索中的枢纽性问题，该现象指少量图库数据点被频繁检索，导致检索性能下降。我们首先从理论上证明，由于枢纽点总是与图库和查询数据呈现高相似度，因此必须同时结合图库与查询数据来解决枢纽性。其次，基于理论结果，我们提出新框架双银行归一化（DBNorm）。尽管先前工作仅尝试利用查询样本缓解枢纽性，DBNorm 利用从查询和图库样本构建的两个银行，在推理期间减少枢纽的出现。接下来，为补充 DBNorm，我们引入两种新方法，双反转 softmax 与双动态反转 softmax，基于两个银行对相似度进行归一化。具体而言，我们提出的方法降低了枢纽与查询间的相似度，同时提升了非枢纽与查询间的相似度。最后，我们在多样语言接地基准（包括文本-图像、文本-视频和文本-音频）上给出广泛实验结果，表明我们的方法在解决枢纽性与提升检索性能上优于先前方法。代码见 https://github.com/yimuwangcs/Better_Cross_Modal_Retrieval。
引用
@article{arxiv.2310.11612,
title = {Balance Act: Mitigating Hubness in Cross-Modal Retrieval with Query and Gallery Banks},
author = {Yimu Wang and Xiangru Jian and Bo Xue},
journal= {arXiv preprint arXiv:2310.11612},
year = {2023}
}
备注
Accepted by EMNLP 2023