用于单通道语音增强的涟漪稀疏自注意力
声音
2023-05-16 v1 音频与语音处理
摘要
Transformer的使用代表了近期语音增强领域的一项成功。然而，作为其核心组件，自注意力存在二次复杂度的问题，对于长语音录音而言在计算上难以承受。此外，它允许每个时间帧关注所有时间帧，忽视了语音信号强烈的局部相关性。本研究提出了一种简单而有效的用于语音增强的稀疏自注意力，称为涟漪注意力（ripple attention），它分别对局部和全局依赖关系进行细粒度和粗粒度建模。具体而言，我们采用局部带注意力使每个帧以细粒度关注窗口内其最接近邻帧，同时在窗口外采用膨胀注意力以粗粒度建模全局依赖关系。我们在两个常用训练目标上评估了涟漪注意力用于语音增强的有效性。大量实验结果一致证实，在语音质量和可懂度方面，涟漪注意力设计优于标准全自注意力、分块注意力以及双路径注意力（Sep-Former）。
引用
@article{arxiv.2305.08541,
title = {Ripple sparse self-attention for monaural speech enhancement},
author = {Qiquan Zhang and Hongxu Zhu and Qi Song and Xinyuan Qian and Zhaoheng Ni and Haizhou Li},
journal= {arXiv preprint arXiv:2305.08541},
year = {2023}
}
备注
5 pages, ICASSP 2023 published