在语音增强中探索WavLM
音频与语音处理
2022-11-21 v1 声音
摘要
近年来，用于端到端语音编码的自监督学习方法因取得巨大成功而引发浓厚兴趣。特别是，WavLM在各种语音处理任务上展示了最先进的性能。为了更好地理解自监督学习模型对语音增强的功效，本工作中我们通过结合WavLM与两个高质量语音增强系统，在三种资源条件下设计并进行了一系列实验。此外，我们提出了基于回归的WavLM训练目标以及噪声混合数据配置，以进一步提升下游增强性能。在DNS挑战数据集和仿真数据集上的实验表明，WavLM在语音质量和语音识别准确率两方面均有益于语音增强任务，尤其在低微调资源情况下。对于高微调资源条件，仅词错误率得到显著改善。
引用
@article{arxiv.2211.09988,
title = {Exploring WavLM on Speech Enhancement},
author = {Hyungchan Song and Sanyuan Chen and Zhuo Chen and Yu Wu and Takuya Yoshioka and Min Tang and Jong Won Shin and Shujie Liu},
journal= {arXiv preprint arXiv:2211.09988},
year = {2022}
}
备注
Accepted by IEEE SLT 2022