Uformer：一种用于同步语音增强与去混响的基于 Unet 的扩张复值与实值双路 Conformer 网络
音频与语音处理
2022-05-06 v3 声音
摘要
复谱与幅值被视为语音增强与去混响的两个主要特征。传统方法总是分开处理这两个特征，忽略了它们之间的内在关联。本文中，我们提出 Uformer，一种基于 Unet 的、在复数与幅值域上用于同步语音增强与去混响的扩张复值与实值双路 Conformer 网络。我们利用时间注意力（TA）和扩张卷积（DC）来利用局部与全局上下文信息，并利用频率注意力（FA）来建模维度信息。所提出的扩张复值与实值双路 Conformer 模块中包含的这三个子模块有效提升了语音增强与去混响性能。此外，采用混合编码器与解码器来同时建模复谱与幅值并促进两域间的信息交互。还应用了编码器-解码器注意力以增强编码器与解码器间的交互。我们的实验结果在客观与主观上均优于所有 SOTA 的时域与复数域模型。具体而言，Uformer 在 Interspeech 2021 DNS 挑战赛的盲测试集上达到 3.6032 DNSMOS，优于所有表现最佳的模型。我们还进行了消融实验以剖析所有所提子模块中最为重要的部分。
引用
@article{arxiv.2111.06015,
title = {Uformer: A Unet based dilated complex & real dual-path conformer network for simultaneous speech enhancement and dereverberation},
author = {Yihui Fu and Yun Liu and Jingdong Li and Dawei Luo and Shubo Lv and Yukai Jv and Lei Xie},
journal= {arXiv preprint arXiv:2111.06015},
year = {2022}
}
备注
Accepted by ICASSP 2022