DM-Adapter: 用于基于文本的人物检索的领域感知适配器混合方法
计算机视觉与模式识别
2025-03-07 v1 人工智能
摘要
基于文本的人物检索（TPR）作为一种细粒度且具有挑战性的任务，与实际应用高度契合而受到广泛关注。将CLIP适配到人物领域已成为一个新兴研究方向，这得益于视觉-语言预训练中丰富的知识，但在微调过程中仍面临挑战：（i）TPR中先前的全模型微调计算代价高昂且容易过拟合。（ii）TPR中现有的参数高效迁移学习缺乏细粒度特征提取能力。为解决这些问题，本文提出领域感知适配器混合方法（DM-Adapter），将专家混合（MoE）与参数高效迁移学习相统一，在保持效率的同时增强细粒度特征表示。具体而言，稀疏适配器混合在视觉和语言分支的MLP层中并行设计，其中不同专家专门处理人物知识的不同方面以更精细地处理特征。为促进路由器有效利用领域信息并缓解路由不平衡，领域感知路由器通过构建一种新颖的门控函数并注入可学习的领域感知提示而开发。大量实验表明，DM-Adapter达到了最先进的性能，显著优于先前方法。
引用
@article{arxiv.2503.04144,
title = {DM-Adapter: Domain-Aware Mixture-of-Adapters for Text-Based Person Retrieval},
author = {Yating Liu and Zimo Liu and Xiangyuan Lan and Wenming Yang and Yaowei Li and Qingmin Liao},
journal= {arXiv preprint arXiv:2503.04144},
year = {2025}
}
备注
9 pages, 5 figures, accepted by AAAI 2025