Selector-Enhancer：学习动态选择局部与非局部注意力操作用于语音增强
音频与语音处理
2023-01-16 v3 声音
摘要
注意力机制，如局部与非局部注意力，在近期基于深度学习的语音增强（SE）系统中起着基础性作用。然而，自然语音包含许多快速变化且相对短暂的声学事件，因此，不加区分地使用局部与非局部注意力来捕获最具信息量的语音特征面临挑战。我们观察到，噪声类型与语音特征在一段语音序列内是变化的，且局部与非局部操作可分别从受损语音中提取不同特征。为此，我们提出 Selector-Enhancer，一种基于双注意力的卷积神经网络（CNN），其带有一个特征滤波器，能够动态地从低分辨率语音特征中选择区域，并将其送入局部或非局部注意力操作。特别地，所提出的特征滤波器通过使用强化学习（RL）进行训练，并采用一种与网络性能、模型复杂度以及“SE 任务难度”相关的难度调节奖励。结果表明，我们的方法取得了与现有方法相当或更优的性能。尤其是，Selector-Enhancer 对真实世界去噪具有潜在有效性，其中在单一噪声混合中噪声的数量与类型是变化的。
引用
@article{arxiv.2212.03408,
title = {Selector-Enhancer: Learning Dynamic Selection of Local and Non-local Attention Operation for Speech Enhancement},
author = {Xinmeng Xu and Weiping Tu and Yuhong Yang},
journal= {arXiv preprint arXiv:2212.03408},
year = {2023}
}
备注
Accepted by AAAI 2023