PASs-MoE：通过路径激活子空间缓解路由器与专家间的错位共漂移以实现持续学习
机器学习
2026-01-21 v1 人工智能
摘要
持续指令微调（CIT）要求多模态大语言模型（MLLMs）适应连续的任务流而不遗忘先前能力。一种常见策略是通过将输入路由到不同的 LoRA 专家来隔离更新。然而，现有的基于 LoRA 的混合专家方法往往以不加区分的方式联合更新路由器和专家，导致路由器的偏好与专家的适应路径发生共漂移，并逐渐偏离早期的输入-专家特化。我们将此现象称为错位共漂移，它模糊了专家职责并加剧了遗忘。为解决此问题，我们引入路径激活子空间（PASs），这是一个 LoRA 诱导的子空间，反映了输入在每个专家中激活了哪些低秩路径方向，为路由和保留提供了一个能力对齐的坐标系。基于 PASs，我们提出一种固定容量的基于 PASs 的 MoE-LoRA 方法，包含两个组件：PAS 引导重加权，利用每个专家的路径激活信号校准路由；以及 PAS 感知秩稳定，选择性地稳定对先前任务重要的秩方向。在 CIT 基准上的实验表明，我们的方法在准确性和抗遗忘方面均持续优于一系列传统持续学习基线和 MoE-LoRA 变体，且未增加参数。我们的代码将在论文被接收后发布。
引用
@article{arxiv.2601.13020,
title = {PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning},
author = {Zhiyan Hou and Haiyun Guo and Haokai Ma and Yandu Sun and Yonghui Yang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2601.13020},
year = {2026}
}