学习用于多源视觉提示迁移的最优提示集成
计算与语言
2025-10-16 v5
摘要
提示调优已成为一种将基础模型适配至下游任务的轻量级策略，尤其适用于资源受限的系统。随着预训练提示成为有价值的资产，组合多个源提示通过利用互补知识为增强新任务的泛化能力提供了一种有前景的方法。然而，简单的聚合往往忽略了不同源提示对目标任务具有不同的贡献潜力。为解决此问题，我们提出了HGPrompt，一个学习最优集成权重的动态框架。这些权重通过联合最大化可迁移性的信息论度量并经由一种新颖的正则化策略最小化梯度冲突来优化。具体而言，我们提出了一种可微的提示可迁移性度量，以捕捉提示诱导特征在目标任务上的判别性。同时，HGPrompt基于Hessian矩阵和Fisher信息匹配不同源提示的梯度方差，在抑制它们之间梯度冲突的同时确保稳定且连贯的知识迁移。在大规模VTAB基准上的大量实验证明了HGPrompt的最先进性能，验证了其在学习最优集成以实现有效多源提示迁移方面的有效性。
引用
@article{arxiv.2504.12311,
title = {Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer},
author = {Enming Zhang and Liwen Cao and Yanru Wu and Zijie Zhao and Yang Li},
journal= {arXiv preprint arXiv:2504.12311},
year = {2025}
}