LiME：轻量级混合专家用于高效多模态多任务学习
机器学习
2026-04-06 v1 计算与语言
计算机视觉与模式识别
摘要
混合专家-参数高效微调(MoE-PEFT)方法结合了专家和参数高效微调，用于多任务适应，但需要每个专家分别的适配器，导致可训练参数随专家数量线性增长，限制了适用于基于适配器的架构的应用。我们提出 LiME(轻量级混合专家)，通过轻量调制而非适配器复制实现专家专业化。不使用单独的适配器，LiME 使用单个共享 PEFT 模块，并通过轻量专家向量调制其输出，减少专家参数同时对任何 PEFT 方法通用。值得注意的是，LiME 引入基于现有冻结和适应表示的零参数路由，消除了通常每个层所需的学习路由参数。理论上，我们证明 (i) 更多专家保留更多任务相关信息，(ii) 调制以有界误差近似完整的专家特定 PEFT。LiME 进一步集成 n-gram 分窗路由和基于路由置信度的自适应专家选择(Auto Top-K)。在 MMT-47 上进行的实验，该多模态多任务基准涵盖 text、image 和 video 的 47 项任务，显示 LiME 在使用最高 4 倍更少的可训练参数和最高 29% 更快的训练速度下，实现了与相应 MoE-PEFT 基线相当或更好的性能。
引用
@article{arxiv.2604.02338,
title = {LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning},
author = {Md Kowsher and Haris Mansoor and Nusrat Jahan Prottasha and Ozlem Garibay and Victor Zhu and Zhengping Ji and Chen Chen},
journal= {arXiv preprint arXiv:2604.02338},
year = {2026}
}