AdaViPro:面向大规模模型适配的基于区域的适应性视觉提示
计算机视觉与模式识别
2024-06-17 v2
摘要
近年来,基于提示的方法作为一种新的"参数高效微调"范式应运而生,这类方法仅微调少量额外参数,同时保持原始模型冻结。然而,尽管取得了显著成果,现有提示方法主要关注"添加什么",而忽视了同样重要的"在哪里添加",通常依赖于人工设计的位置安排。为此,我们提出了一种基于区域的自适应视觉提示,命名为 AdaViPro,它将提示的"在哪里添加"优化整合到学习过程中。具体而言,我们将"在哪里添加"的优化重新概念化为区域决策问题。在推理阶段,AdaViPro 为整幅图像生成一个由 0 和 1 组成的区域化掩码图,以指明在每个特定区域是应用还是丢弃提示。因此,我们采用 Gumbel-Softmax 采样,使 AdaViPro 能够通过标准反向传播进行端到端学习。大量实验表明,我们的 AdaViPro 在适配预训练模型方面带来了新的效率与精度权衡。
引用
@article{arxiv.2403.13282,
title = {AdaViPro: Region-based Adaptive Visual Prompt for Large-Scale Models Adapting},
author = {Mengyu Yang and Ye Tian and Lanshan Zhang and Xiao Liang and Xuming Ran and Wendong Wang},
journal= {arXiv preprint arXiv:2403.13282},
year = {2024}
}
备注
Accepted by ICIP 2024