面向文本基人物检索的统一参数高效迁移学习UP-Person

文本基人物检索（TPR）作为一种多模态任务，旨在给定文本描述后，从候选图像池中检索目标人物，近期因对比度视觉语言预训练模型的进展而受到广泛关注。先前工作利用预训练的CLIP提取人物视觉和文本特征，并对整个网络进行完全微调，显示出显著的性能提升，与单模态预训练模型相比。然而，对大型模型进行完整微调容易导致过拟合，并阻碍泛化能力。本文提出一种新的统一参数高效迁移学习（PETL）方法，用于文本基人物检索（UP-Person），以彻底Transfer多模态知识。具体而言，UP-Person同时集成了三种轻量级PETL组件，包括Prefix、LoRA和Adapter，其中Prefix和LoRA共同设计以挖掘局部信息，利用任务特定信息提示，而Adapter设计用于调整全局特征表示。此外，还优化了两个基础子模块以适应TPR的统一架构。首先，提出S-Prefix以提升前缀的注意力并增强前缀标记的梯度传播，从而提高了基础前缀的灵活性和性能。其次，L-Adapter设计于层归一化并行，以调整整体分布，从而可解决由多个子模块重叠和相互作用导致的冲突。大量实验结果表明，UP-Person在各种人物检索数据集上实现了最先进的成绩，包括CUHK-PEDES、ICFG-PEDES和RSTPReid，仅需微调4.7%的参数。代码可在 https://github.com/Liu-Yating/UP-Person 查阅。