面向跨模态检索的鲁棒性与和谐性适应方法
机器学习
2025-11-19 v1
摘要
最近，通用到定制化的范式已成为跨模态检索（CMR）的主导方法，旨在解决源域与目标域之间分布迁移问题。然而，现有的通用到定制化CMR方法通常假设整个目标域数据均可获取，而这在现实场景下往往难以实现，导致查询迁移（QS）问题的产生。具体而言，查询迁移包含以下两个特征，给CMR带来了新挑战：i) 在线迁移：现实查询总是以在线方式到达，导致针对查询的定制化方法无法事先获取整个查询集；ii) 多样性迁移：即便存在域定制化，CMR模型仍难满足来自不同用户或场景的查询，亟需适应多样化查询。本文观察到，QS不仅会削弱源模型继承的良好结构化公共空间，还会引导模型忘记CMR中不可或缺的通用知识。基于此观察，我们提出了一种面向QS的在线和谐适应方法，命名为鲁棒查询迁移适应（Robust adaptation with quEry ShifT, REST）。为处理在线迁移，REST首先细化检索结果以构建查询预测，并据此设计针对这些预测的QS鲁棒目标函数，以在线方式保留已建立的公共空间。为应对更具挑战性的多样性迁移，REST采用梯度解耦模块，在适应过程中灵活操控梯度，从而防止CMR模型忘记通用知识。在20个基准测试（覆盖三个CMR任务）上的大量实验验证了我们方法在面对QS方面的有效性。
引用
@article{arxiv.2511.14416,
title = {Toward Robust and Harmonious Adaptation for Cross-modal Retrieval},
author = {Haobin Li and Mouxing Yang and Xi Peng},
journal= {arXiv preprint arXiv:2511.14416},
year = {2025}
}
备注
19 pages, 6 figures