ProS：面向通用跨域检索的提示模拟泛化知识
计算机视觉与模式识别
2024-03-01 v3
摘要
通用跨域检索 (UCDR) 的目标是在泛化测试场景中取得稳健性能，其中数据在训练期间可能属于严格未知的域和类别。最近，带有提示微调的预训练模型展现出强大的泛化能力，并在各种下游任务中取得了显著成就，例如少样本学习和视频-文本检索。然而，将它们直接应用于 UCDR 可能不足以同时处理域偏移（即适应不熟悉的域）和语义偏移（即转移到未知类别）。为此，我们提出了提示模拟 (ProS)，这是第一种将提示微调应用于 UCDR 的方法。ProS 采用两步过程来模拟内容感知动态提示 (CaDP)，这可以影响模型为 UCDR 产生泛化特征。具体而言，在提示单元学习阶段，我们引入了两个提示单元，以掩码并对齐的方式分别捕获域和语义知识。然后，在上下文感知模拟器学习阶段，我们在模拟的测试场景下训练内容感知提示模拟器，以产生相应的 CaDP。在三个基准数据集上进行的大量实验表明，我们的方法在不引入过多参数的情况下取得了新的最先进性能。我们的方法公开于 https://github.com/fangkaipeng/ProS。
引用
@article{arxiv.2312.12478,
title = {ProS: Prompting-to-simulate Generalized knowledge for Universal Cross-Domain Retrieval},
author = {Kaipeng Fang and Jingkuan Song and Lianli Gao and Pengpeng Zeng and Zhi-Qi Cheng and Xiyao Li and Heng Tao Shen},
journal= {arXiv preprint arXiv:2312.12478},
year = {2024}
}