Locate-then-Merge：用于缓解多模态大语言模型灾难性遗忘的神经级参数融合
计算与语言
2025-05-23 v1
摘要
尽管多模态大语言模型（MLLM）已取得显著性能，但多模态指令调优阶段常导致基础 LLM 的语言能力出现灾难性遗忘，即便是像 Llama3 这类强大模型也不例外。为此，我们提出了 Locate-then-Merge，一种无训练的参数融合框架，首先定位重要参数，然后选择性地合并它们。我们进一步引入了神经级融合（Neuron-Fusion）策略，保留具有大参数位移的神经元的影响——这些神经元可能负责新获得的视觉能力——同时削弱位移较小的神经元的影响，这些神经元可能编码通用语言技能。此设计能够在保留视觉适应性的同时缓解语言性能 degradation。在13项语言和视觉任务上的实验表明，Neuron-Fusion 在已有模型融合方法中稳居上风。进一步分析显示，我们的方法有效减少了生成中的上下文幻觉。
引用
@article{arxiv.2505.16703,
title = {Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs},
author = {Zeping Yu and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2505.16703},
year = {2025}
}