针对查询迁移的跨模态检索测试时适应

现有大多数跨模态检索方法均依赖查询遵循源域相同分布的假设，但该假设在现实场景下因查询的复杂性和多样性而容易被违反，导致查询迁移问题。具体而言，查询迁移指的是来自与源域分布不同的域的在线查询流。本文观察到，查询迁移不仅会降低查询模态的均匀性（即查询模态内部的离散程度），还会放大查询与画廊模态之间的差距。基于上述观察，我们提出一种新方法，称为跨模态检索测试时适应（TCR）。简言之，TCR 采用新模块细化查询预测（即查询的检索结果），并构建联合目标以防止查询迁移干扰公共空间，从而实现对具有查询迁移的跨模态检索模型的在线适应。大量实验表明，所提出的 TCR 在面对查询迁移时效果显著。代码将在论文接受后公开。