ML-SUPERB 2.0挑战赛:面向所有语言变体的包容性ASR基准测试
计算与语言
2025-09-10 v1 音频与语音处理
摘要
多语言ASR的最新进展在不同语言和语言变体之间的分布并不均衡。为了推进最先进的(SOTA)ASR模型,我们推出了Interspeech 2025 ML-SUPERB 2.0挑战赛。我们构建了一个新的测试套件,包含来自200多种语言、口音和方言的数据,以评估SOTA多语言语音模型。该挑战赛还引入了基于DynaBench的在线评估服务器,为参与者提供了模型设计和架构上的灵活性。该挑战赛收到了来自3个团队的5份提交,所有提交均优于我们的基线。表现最佳的提交在通用多语言测试集上相较于最佳基线实现了23%的LID准确率绝对提升和18%的CER降低。在带口音和方言数据上,最佳提交获得了30.2%更低的CER和15.7%更高的LID准确率,这表明社区挑战在使语音技术更具包容性方面的重要性。
引用
@article{arxiv.2509.07139,
title = {The ML-SUPERB 2.0 Challenge: Towards Inclusive ASR Benchmarking for All Language Varieties},
author = {William Chen and Chutong Meng and Jiatong Shi and Martijn Bartelds and Shih-Heng Wang and Hsiu-Hsuan Wang and Rafael Mosquera and Sara Hincapie and Dan Jurafsky and Antonis Anastasopoulos and Hung-yi Lee and Karen Livescu and Shinji Watanabe},
journal= {arXiv preprint arXiv:2509.07139},
year = {2025}
}
备注
Interspeech 2025