DynaMo:面向 MoE 的运行时可切换量化及跨数据集自适应
机器学习
2026-01-12 v3
摘要
随着 Mix-of-Experts (MoE) 架构增大大型模型的参数量,对模型量化的需求也愈发迫切。然而,现有量化方法忽略了 MoE 在多个数据集上的专家动态特性。此外,现有的静态量化无法使 MoE 适应各种数据变化场景。本文通过多层次分析揭示 MoE 的动态特性,并定义每个通道/每个专家的重要性。基于分析结果,我们提出了 \textit{DynaMo},一种端到端的 MoE 量化框架。DynaMo 采用专家级混合精度基线量化策略,确保量化后的 MoE 兼容多个现有数据集。此外,DynaMo 引入通道级动态切换机制,使这些量化 MoE 模型能够适应新数据集。实验表明,DynaMo 在多个数据集上实现了 2.78~4.54 的 PPL 下降与 1.85%~3.77% 的准确率提升,同时获得约 3 倍的推理加速且开销可忽略。
引用
@article{arxiv.2503.21135,
title = {DynaMo: Runtime Switchable Quantization for MoE with Cross-Dataset Adaptation},
author = {Zihao Zheng and Xiuping Cui and Size Zheng and Maoliang Li and Jiayu Chen and Yun Liang and Xiang Chen},
journal= {arXiv preprint arXiv:2503.21135},
year = {2026}
}
备注
This paper has been accepted by DATE 2026