L2R：面向混合专家的低秩与 Lipschitz 受控路由
机器学习
2026-05-15 v2 人工智能
摘要
混合专家（MoE）模型通过条件激活小部分专家来扩展神经网络规模，其中路由器在决定专家专业化和整体模型性能方面发挥核心作用。然而，许多现代 MoE 系统仍在原始高维表示空间中采用线性路由器，导致表示不匹配、角度集中和尺度敏感评分共同削弱路由判别性和稳定的专家专业化。在本工作中，我们提出低秩与 Lipschitz 受控路由（L2R）——一种统一的路由框架，重塑路由空间和评分几何。L2R 在共享的低秩潜在路由空间中执行专家分配，并引入饱和内积评分（SIPS）以显式控制路由函数的 Lipschitz 行为，实现更光滑更稳定的路由几何。此外，L2R 集成了参数高效的多锚点路由机制以增强专家表达性。在基于 OLMoE 的语言 MoE 模型以及 ImageNet 上的视觉 MoE 设置上的大量实验表明，L2R 持续改进路由几何、专家判别和整体模型性能。代码将公开发布。
引用
@article{arxiv.2601.21349,
title = {L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts},
author = {Minghao Yang and Ren Togo and Guang Li and Takahiro Ogawa and Miki Haseyama},
journal= {arXiv preprint arXiv:2601.21349},
year = {2026}
}