揭示多语言 MoE 模型中的语言路由隔离现象：面向可解释性子网络适应
计算与语言
2026-04-07 v1 人工智能
摘要
混合专家（MoE）模型在不同语言上的表现存在显著差异，但驱动这些差距的内部机制仍不清楚。本 work 对 MoE 模型中的专家路由模式进行了系统性分析，发现一种我们称之为语言路由隔离（Language Routing Isolation）的现象，即高资源语言和低资源语言倾向于激活大不相同的数据专家集合。通过分层分析，我们进一步表明，路由模式在模型深度中呈现层级收敛-发散模式。基于这些发现，我们提出了 RISE（Routing Isolation-guided Subnetwork Enhancement），一个利用路由隔离识别和适应语言特定子网络的框架。RISE 应用三段式选择策略，利用特定性得分识别浅层和深层的语言特定专家，利用重叠得分选择中间层的通用专家。通过仅训练所选子网络而冻结所有其他参数，RISE 在提高低资源语言性能方面取得显著效果，同时保持其他语言的能力。实验在 10 种语言上进行，显示 RISE 在目标语言 F1 分数上实现最高提升 10.85%，同时最小化跨语言退化。
引用
@article{arxiv.2604.03592,
title = {Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation},
author = {Kening Zheng and Wei-Chieh Huang and Jiahao Huo and Zhonghao Li and Henry Peng Zou and Yibo Yan and Xin Zou and Jungang Li and Junzhuo Li and Hanrong Zhang and Xuming Hu and Philip S. Yu},
journal= {arXiv preprint arXiv:2604.03592},
year = {2026}
}