SimulMEGA：MoE 路由器是用于同时语音翻译的高级策略制定者
计算与语言
2025-10-30 v2 声音
音频与语音处理
摘要
同时语音翻译（SimulST）通过在严格的延迟约束下联合优化语音识别和机器翻译，实现实时跨语言交流。现有系统难以在翻译质量、延迟和语义连贯性之间取得平衡，尤其是在多语言多对多场景中，不同的读写策略阻碍了统一策略的学习。在本文中，我们提出了 SimulMEGA（通过混合专家门控进行同时生成），这是一种无监督策略学习框架，它将基于前缀的训练与混合专家精炼器相结合，以隐式方式学习有效的读写决策，而不会增加推理时的开销。我们的设计只需要对标准 Transformer 架构进行最小的修改，并且可以泛化到语音到文本和文本到语音的流式任务。通过对六个语言对的综合评估，我们 5 亿参数的语音到文本模型优于 Seamless 基线，在 1.5 秒平均延迟下实现了低于 7% 的 BLEU 值下降，在 3 秒延迟下实现了低于 3% 的下降。我们通过将其扩展到具有单向主干的流式 TTS，进一步展示了 SimulMEGA 的多功能性，产生了优越的延迟-质量权衡。
引用
@article{arxiv.2509.01200,
title = {SimulMEGA: MoE Routers are Advanced Policy Makers for Simultaneous Speech Translation},
author = {Chenyang Le and Bing Han and Jinshun Li and Songyong Chen and Yanmin Qian},
journal= {arXiv preprint arXiv:2509.01200},
year = {2025}
}
备注
NeurIPS 2025 poster