用于提升跨语料库泛化能力的自注意力循环神经网络语音增强
声音
2022-04-14 v3 音频与语音处理
摘要
深度神经网络（DNNs）代表了有监督语音增强的主流方法，主要因其使用分层表示建模复杂函数的能力。然而，最近一项研究揭示，在单一语料库上训练的DNNs无法泛化到未训练语料库，尤其在低信噪比（SNR）条件下。开发独立于噪声、说话人与语料库的语音增强算法对于真实世界应用至关重要。在本研究中，我们提出一种自注意力循环神经网络，或称注意力循环网络（ARN），用于时域语音增强以提升跨语料库泛化。ARN由循环神经网络（RNNs）增强以自注意力块与前馈块构成。我们在具有非平稳噪声的低SNR条件的不同语料库上评估ARN。实验结果表明，ARN大幅优于竞争性的时域语音增强方法，如RNNs与双路径ARNs。此外，我们报告了一个重要发现：两种流行的语音增强方法——复谱映射与时域增强，在大规模训练下对RNN与ARN获得相似结果。我们还提供了本研究中使用的测试集的一个具有挑战性的子集，用于评估未来算法并促进直接比较。
引用
@article{arxiv.2105.12831,
title = {Self-attending RNN for Speech Enhancement to Improve Cross-corpus Generalization},
author = {Ashutosh Pandey and DeLiang Wang},
journal= {arXiv preprint arXiv:2105.12831},
year = {2022}
}
备注
Accepted for publication in IEEE/ACM Transactions on Audio, Speech and Language Processing