MoORE：基于 SVD 的模型 MoE-化以实现冲突与遗忘抗性多任务适应
机器学习
2025-10-28 v5
摘要
在多任务场景中适应大规模基础模型常常面临任务冲突和遗忘问题。为缓解此类问题，我们提出一种新颖的“模型 MoE-化”策略，导致一种冲突和遗忘抗性的多任务适应方法。给定预训练模型的一个权重矩阵，我们的方法对其应用 SVD，并引入可根据任务和样本调整其奇异值的可学习路由器。因此，该权重矩阵 Becoming 一个正交秩一专家混合（MoORE），其中每个专家对应于左奇异向量与其相应右奇异向量的外积。我们可以通过对右奇异向量施加可学习的正交变换来提高模型容量。与低秩适应（LoRA）及其 MoE 变体不同，MoORE 保证专家的正交性并保持原始权重矩阵的列空间。这两个属性使适应后的模型对新任务之间的冲突和原始任务的遗忘具有抵抗力。various 数据集上的实验表明，MoORE 在各种数据集上 consistently 优于现有的多任务适应方法，显示其在冲突和遗忘抵抗性方面具有优势。实验代码已公开于 https://github.com/DaShenZi721/MoORE。
引用
@article{arxiv.2506.14436,
title = {MoORE: SVD-based Model MoE-ization for Conflict- and Oblivion-Resistant Multi-Task Adaptation},
author = {Shen Yuan and Yin Zheng and Taifeng Wang and Binbin Liu and Hongteng Xu},
journal= {arXiv preprint arXiv:2506.14436},
year = {2025}
}
备注
26 pages, 6 figures