用于语音增强的频带感知注意力 U 形 Transformer
声音
2023-05-10 v1 音频与语音处理
摘要
当前最先进的语音增强在语音估计精度上性能有限。近来，在深度学习中，Transformer 通过自注意力展现出挖掘语音长程依赖的潜力。因此，它被引入语音增强，以从噪声混合中提升语音估计精度。然而，为解决带自注意力的 Transformer 的计算成本问题，轴向注意力是一种选择，即将二维注意力拆分为两个一维注意力。受轴向注意力启发，在所提方法中，我们沿时间和频率轴计算注意力图，生成时间与频率子注意力图。此外，与轴向注意力不同，所提方法为时间和频率轴提供两个并行的多头注意力。进一步，文献已证明在噪声混合中，语音低频带通常比高频带含有更多所需信息。因此，提出频带感知注意力，即高频带注意力（HFA）与低频带注意力（LFA）。所提方法还首次引入 U 形 Transformer，以进一步提升语音估计精度。在四个公开数据集上的广泛评测证实了所提方法的有效性。
引用
@article{arxiv.2112.06052,
title = {U-shaped Transformer with Frequency-Band Aware Attention for Speech Enhancement},
author = {Yi Li and Yang Sun and Syed Mohsen Naqvi},
journal= {arXiv preprint arXiv:2112.06052},
year = {2023}
}