BSDB-Net：基于带分离双分支网络的选择性状态空间机制用于单声道语音增强
声音
2024-12-30 v1 音频与语音处理
摘要
虽然基于复杂谱的语音增强（SE）方法已取得显著性能，但幅度和相位的耦合可能导致补偿效应，即为补偿有害相位信息而牺牲幅度信息。此外，为进一步提高 SE 的性能，许多模块堆叠在 SE 上，导致模型复杂度增加，限制了 SE 的应用。为解决这些问题，我们提出了基于压缩频率的双路径网络，使用 Mamba。首先，我们通过平行双分支提取幅度和相位信息。该方法利用结构化复杂谱在隐式地捕获相位信息，并通过解耦幅度和相位来解决补偿效应，网络包含一个交互模块来抑制不必要的部分并从另一个分支中恢复缺失的组件。其次，为降低网络复杂度，网络引入带分离策略来压缩频率维度。为进一步在保持良好性能的同时降低复杂度，我们设计了一个在线性复杂度下建模时间和频率维度的 Mamba 模块。最后，我们与基线方法相比，本模型在计算复杂度上平均降低了 8.3 倍，同时保持了卓越的性能。此外，它相对于基于 transformer 的模型实现了 25 倍的复杂度降低。
引用
@article{arxiv.2412.19099,
title = {BSDB-Net: Band-Split Dual-Branch Network with Selective State Spaces Mechanism for Monaural Speech Enhancement},
author = {Cunhang Fan and Enrui Liu and Andong Li and Jianhua Tao and Jian Zhou and Jiahao Li and Chengshi Zheng and Zhao Lv},
journal= {arXiv preprint arXiv:2412.19099},
year = {2024}
}
备注
Accepted by AAAI 2025