基于动态梯度引导的多模态持续指令调优
计算机视觉与模式识别
2026-03-23 v2
摘要
多模态持续指令调优使多模态大语言模型能够依序适应新任务，同时建立在先前已获取知识之上。然而，这一持续学习范式面临严重的灾难性遗忘挑战，即学习新任务会导致对先前任务的性能下降。本文提出一种新的见解，将灾难性遗忘概念化为在新任务学习期间缺失旧任务梯度的问题。我们的方法利用参数空间的几何特性，具体而言是利用当前参数与先前最优参数之间的方向向量作为梯度引导。这种近似梯度可进一步与来自有限回放缓冲区的真实梯度相集成，并通过伯硬利抽样策略进行调节，该策略动态平衡模型的稳定性和可塑性。在多模态持续指令调优数据集上进行大量实验表明，我们的方法在不进行模型扩张的情况下实现了最先进的性能，有效缓解了灾难性遗忘，同时保持紧凑的架构。
引用
@article{arxiv.2511.15164,
title = {Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance},
author = {Songze Li and Mingyu Gao and Tonghua Su and Xu-Yao Zhang and Zhongjie Wang},
journal= {arXiv preprint arXiv:2511.15164},
year = {2026}
}