基于双库Sinkhorn归一化的跨模态检索中心性降低
信息检索
2025-08-05 v1
摘要
过去十年见证了跨模态检索的快速发展，在精确测量跨模态对之间的相似性方面取得了显著进展。然而，持续存在的中心性问题——即少量目标频繁地作为众多查询的最近邻出现的现象——仍然阻碍着相似性测量的精度。尽管已有几种降低中心性的方法被提出，但其底层机制仍未被充分理解。为弥补这一差距，我们分析了广泛采用的Inverted Softmax方法，并证明了其在检索过程中平衡目标概率的有效性。基于这些见解，我们提出了一个概率平衡框架以实现更有效的中心性降低。我们认为仅平衡目标概率是不够的，因此，通过引入Sinkhorn归一化(SN)，将该框架扩展为同时平衡查询和目标概率。值得注意的是，我们将SN扩展到真实查询分布未知的场景，表明当前仅依赖查询库来估计目标中心性的方法由于查询库与目标之间存在显著的分布差距而产生次优结果。为缓解此问题，我们引入了双库Sinkhorn归一化(DBSN)，在查询库旁边加入一个对应的目标库以缩小这种分布差距。我们在各种跨模态检索任务(包括图像-文本检索、视频-文本检索和音频-文本检索)上的全面评估表明，性能持续提升，验证了SN和DBSN的有效性。所有代码公开于https://github.com/ppanzx/DBSN。
引用
@article{arxiv.2508.02538,
title = {Hubness Reduction with Dual Bank Sinkhorn Normalization for Cross-Modal Retrieval},
author = {Zhengxin Pan and Haishuai Wang and Fangyu Wu and Peng Zhang and Jiajun Bu},
journal= {arXiv preprint arXiv:2508.02538},
year = {2025}
}
备注
ACMMM 2025