紧急挑战：语音增强的通用性、鲁棒性与可迁移性
音频与语音处理
2024-09-25 v1 声音
摘要
过去十年我们见证了基于深度学习的语音增强（SE）取得了显著进展。然而，大多数现有SE研究在SE子任务覆盖范围、数据多样性和数量、以及评估指标方面都存在局限。为填补这一空白并推动通用SE研究的进展，我们建立了一个新的SE挑战，命名为URGENT，旨在关注SE的通用性、鲁棒性和可迁移性。我们将SE的定义扩展到涵盖不同的子任务，以探索SE模型的极限， starting from降噪、去混响、带宽扩展和去除采样峭值。提出了一种新型框架，将所有这些子任务统一到单个模型中，允许使用所有现有的SE方法。我们收集了来自不同领域的公共语音和噪声数据，以构建多样化的评估数据。最后，我们基于生成式和判别式SE方法进行初步基线实验，并使用12个精选评估指标，探讨了从中获得的见解。
引用
@article{arxiv.2406.04660,
title = {URGENT Challenge: Universality, Robustness, and Generalizability For Speech Enhancement},
author = {Wangyou Zhang and Robin Scheibler and Kohei Saijo and Samuele Cornell and Chenda Li and Zhaoheng Ni and Anurag Kumar and Jan Pirklbauer and Marvin Sach and Shinji Watanabe and Tim Fingscheidt and Yanmin Qian},
journal= {arXiv preprint arXiv:2406.04660},
year = {2024}
}
备注
6 pages, 3 figures, 3 tables. Accepted by Interspeech 2024. An extended version of the accepted manuscript with appendix