ROMER：面向模拟计算存储系统的鲁棒混合专家大语言模型的专家替换与路由校准
机器学习
2026-05-13 v1 计算与语言
摘要
大型语言模型（LLM）采用混合专家（MoE）架构，通过稀疏激活每个 token 的子集专家实现了显著的可扩展性，但频繁的专家切换会造成内存带宽瓶颈，而计算存储（CIM）架构正好适合缓解这一问题。然而，模拟 CIM 系统因内在硬件缺陷导致存储权重受扰动，其对 MoE 架构大语言模型在噪声 CIM 环境中的负面影响尚未被探讨。本文首次系统性地研究了在基于真实芯片测量的噪声模型校准下的 MoE 架构大语言模型，发现硬件噪声严重扰乱专家负载平衡，导致干净训练的路由决策持续不佳。基于这些发现，我们提出了 ROMER 框架：(1) 用高频专家替换低激活专家以恢复负载平衡；(2) 通过百分位归一化重新校准路由 logits 以稳定噪声下的路由。广泛实验表明，在真实芯片噪声条件下，ROMER 对 DeepSeek-MoE、Qwen-MoE 和 OLMoE 分别实现了最高 58.6%、58.8% 和 59.8% 的困惑度降低，证明了其在多样化 MoE 架构中的有效性与通用性。
引用
@article{arxiv.2605.11800,
title = {ROMER: Expert Replacement and Router Calibration for Robust MoE LLMs on Analog Compute-in-Memory Systems},
author = {Wenyong Zhou and Yuannuo Feng and Yizhe Chen and Taiqiang Wu and Wendong Xu and Wenbo Qi and Zhengwu Liu and Wang Kang and Ngai Wong},
journal= {arXiv preprint arXiv:2605.11800},
year = {2026}
}
备注
11 pages, 5 figures, 4 tables