稀疏混合专家模型中离散表示的作用
机器学习
2025-07-29 v2
摘要
稀疏混合专家 (SMoE) 是一种在不增加计算成本的前提下提升模型容量的有效方法。SMoE 的关键组成部分是路由器，负责将输入导向相关专家；然而，路由器也是一个主要弱点，导致路由不一致和表示塌陷问题。与之前的方法不同，我们提出了一种替代方案，通过间接方式将专家分配给输入，该方案利用指向专家的输入的离散表示。离散表示通过向量量化学习， resulting in a new architecture dubbed Vector-Quantized Mixture of Experts (VQMoE)。我们提供了理论支持和实证证据，表明 VQMoE 能够克服传统路由器所面临的挑战。通过在大型语言模型和视觉任务上进行的大量评估表明，VQMoE 在鲁棒性上比其他 SMoE 路由方法提升了 28%，同时在微调任务中保持了强大的性能。
引用
@article{arxiv.2411.19402,
title = {On the Role of Discrete Representation in Sparse Mixture of Experts},
author = {Giang Do and Kha Pham and Hung Le and Truyen Tran},
journal= {arXiv preprint arXiv:2411.19402},
year = {2025}
}
备注
17 pages