稀疏Mixture-of-Experts语音识别中的Omni-Router：共享路由决策
计算与语言
2025-11-06 v3 人工智能
机器学习
声音
音频与语音处理
摘要
Mixture-of-experts（MoE）架构从语言建模扩展到自动语音识别（ASR）。传统MoE方法如Switch Transformer在每一层独立路由专家。我们的分析发现，大多数层的路由器所做的专家选择与其他层的路由器选择关联性不强。为增加不同层专家间的合作并鼓励更专业化，我们采用跨层共享路由器设计。称为Omni-router Transformer。在大规模伪标记数据集上进行大量实验，并在10个多样且域外的ASR基准测试中评估，结果表明Omni-router Transformer可获得更低的训练损失，持续优于稠密模型和Switch Transformer模型，分别将平均词错误率降低11.2%和8.2%，同时提供结构化的专家使用情况并提升对多样数据的鲁棒性。
引用
@article{arxiv.2507.05724,
title = {Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition},
author = {Zijin Gu and Tatiana Likhomanenko and Navdeep Jaitly},
journal= {arXiv preprint arXiv:2507.05724},
year = {2025}
}
备注
Accepted in 2025 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)