超越抗遗忘：具有正向前向迁移的多模态持续指令微调
机器学习
2024-06-28 v3
摘要
多模态持续指令微调（MCIT）使多模态大语言模型（MLLMs）能够在无需昂贵重新训练的情况下满足不断涌现的需求。MCIT 面临两大障碍：灾难性遗忘（即旧知识被遗忘）和负向前向迁移（即未来任务的性能下降）。尽管现有方法已大大缓解了灾难性遗忘，但它们仍受困于负向前向迁移。我们通过对输入嵌入进行奇异值分解（SVD），发现不同输入嵌入之间存在巨大差异。这种差异导致模型学习与旧任务和预训练任务无关的信息，从而引发灾难性遗忘和负向前向迁移。为解决这些问题，我们提出了具有正向前向迁移的提示微调（Fwd-Prompt），这是一种基于提示的方法，它将提示梯度投影到残差空间以最小化任务间干扰，并投影到预训练子空间以复用预训练知识。我们的实验表明，Fwd-Prompt 在更新更少参数且无需旧样本的情况下实现了最先进（SOTA）的性能。我们的研究阐明了在指令微调范式下持续适配 MLLMs 到新任务的潜力，并鼓励未来对 MCIT 的探索。
引用
@article{arxiv.2401.09181,
title = {Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer},
author = {Junhao Zheng and Qianli Ma and Zhen Liu and Binquan Wu and Huawen Feng},
journal= {arXiv preprint arXiv:2401.09181},
year = {2024}
}