通过动态前缀加权提升视觉语言模型持续学习
计算机视觉与模式识别
2026-04-21 v1
摘要
我们研究最近引入的面向视觉语言模型 (VLM) 的域类增量学习场景。最近的工作使用参数高效方法，如前缀调谐或适配器，通过加法向量将任务特定信息纳入输入标记，从而促进模型对下游任务的适应。然而，之前的方法通常对这些向量的权重进行归一化，忽视了不同输入标记需要不同程度调整的事实。为克服此问题，我们提出了动态前缀加权 (DPW) 框架，可为前缀动态分配权重，同时配合适配器使用。DPW 包括 1) 一个门控模块，根据相应输入标记的重要性调整每个前缀的权重，以及 2) 一个加权机制，从前缀调谐权重中派生适配器输出权重，确保仅在必要时才利用适配器。实验结果表明，我们的方法在 VLM 的域类增量学习场景中实现了最好的性能。代码已提供：https://github.com/YonseiML/dpw
引用
@article{arxiv.2604.18075,
title = {Enhancing Continual Learning of Vision-Language Models via Dynamic Prefix Weighting},
author = {Hyeonseo Jang and Hyuk Kwon and Kibok Lee},
journal= {arXiv preprint arXiv:2604.18075},
year = {2026}
}
备注
CVPR 2026; revised text and figures for improved readability