MP-ISMoE：面向高效迁移学习的混合精度交互式侧路混合专家
机器学习
2026-05-07 v1 人工智能
摘要
参数高效迁移学习（PETL）已成为适应预训练基础模型以应对下游任务的关键范式，显著减少可训练参数，但因微调期间的梯度反向传播导致显存开销巨大。虽然内存高效迁移学习（METL）通过绕过背部梯度计算来克服这一挑战，仅使用轻量级小侧网络，但其严格的内存限制严重限制了侧网络的学习容量，从而显著损害性能。为此，我们提出一种新型混合精度交互式侧路混合专家框架（MP-ISMoE）。具体而言，我们首先提出一种高斯噪声扰动迭代量化（GNP-IQ）方案，将权重量化为低位数，同时有效降低量化误差。利用 GNP-IQ 节省的内存，我们随后采用交互式侧路混合专家（ISMoE）进行扩缩放，而不牺牲整体内存效率。与传统混合专家不同，ISMoE 通过与冻结背板的显著特征交互来学习选择最优专家，从而抑制知识遗忘并提升性能。在多样化的视觉-语言和语言-only 任务上的大量实验表明，MP-ISMoE 在各类 METL 方法中显著提升了准确率，同时保持了可比的参数和内存效率。
引用
@article{arxiv.2605.04058,
title = {MP-ISMoE: Mixed-Precision Interactive Side Mixture-of-Experts for Efficient Transfer Learning},
author = {Yutong Zhang and Zimeng Wu and Shangcai Liao and Shujiang Wu and Jiaxin Chen},
journal= {arXiv preprint arXiv:2605.04058},
year = {2026}
}
备注
AAAI2026 Accepted