通过双分支Conformer整合声道特征与频带特征提高语音增强
声音
2024-07-16 v3 多媒体
音频与语音处理
摘要
近期基于卷积神经网络（CNN）和Transformer的语音增强方法已被证明能有效捕获时频（T-F）信息，但未能探索每个声道特征之间的相关性。理论上，由不同卷积核获得的每个声道特征图包含不同尺度的信息，具有强相关性。为填补这一空白，我们提出一种新型双分支架构，称为声道感知双分支Conformer（CADB-Conformer），有效探索不同声道之间长程时频相关性，以提取声道感知时频信息。在DNS-Challenge 2020数据集上进行的消融研究表明，声道特征的利用至关重要，同时显示声道感知T-F信息对于语音增强的重要性。广泛的实验还表明，所提出的模型以较低的计算成本优异地 outperform recent methods。
引用
@article{arxiv.2407.06524,
title = {Improving Speech Enhancement by Integrating Inter-Channel and Band Features with Dual-branch Conformer},
author = {Jizhen Li and Xinmeng Xu and Weiping Tu and Yuhong Yang and Rong Zhu},
journal= {arXiv preprint arXiv:2407.06524},
year = {2024}
}