Symbiotic-MoE：生成与理解之间的协同效应
计算机视觉与模式识别
2026-04-10 v1 计算与语言
机器学习
摘要
为大型多模态模型(LMM)赋予图像生成功能常会导致理解任务出现灾难性遗忘, 由于严重的梯度冲突。虽然现有范例如 Mixture-of-Transformers(MoT)通过结构隔离来缓解此冲突, 但其本质上会切断跨模态协同并导致能力碎片化。在本工作中, 我们提出 Symbiotic-MoE, 一个在原生多模态 Mixture-of-Experts(MoE) 变压器架构中实现的统一预训练框架, 其在零额外参数开销下解决任务干扰。我们首先识别到, 标准 MoE 调优会导致路由塌陷，即生成梯度主导专家利用。在此基础上, 我们引入 Modality-Aware Expert Disentanglement, 将专家划分为任务特定组, 同时利用共享专家作为跨模态语义桥梁。关键在于, 此设计允许共享专家吸收来自生成任务中细粒度视觉语义, 以丰富文本表征。为优化此设计, 我们提出渐进式训练策略, 包括差分学习率和早期阶段梯度屏蔽。该机制不仅能保护早期波动下的预训练知识, 也最终将生成信号转化为理解的建设性反馈。广泛实验表明, Symbiotic-MoE 能够实现快速的生成收敛, 同时解锁跨模态协同效应, 在 MMLU 和 OCRBench 上的内在理解能力实现显著提升。
引用
@article{arxiv.2604.07753,
title = {Symbiotic-MoE: Unlocking the Synergy between Generation and Understanding},
author = {Xiangyue Liu and Zijian Zhang and Miles Yang and Zhao Zhong and Liefeng Bo and Ping Tan},
journal= {arXiv preprint arXiv:2604.07753},
year = {2026}
}