DF-Conformer：采用线性复杂度自注意力整合 Conv-TasNet 与 Conformer 的语音增强架构
音频与语音处理
2021-08-06 v2 声音
摘要
单通道语音增强（SE）是语音处理中的一项重要任务。一种广泛使用的框架将分析/合成滤波器组与掩码预测网络相结合，例如 Conv-TasNet 架构。在此类系统中，去噪性能和计算效率主要受掩码预测网络结构的影响。在本研究中，我们旨在通过将 Conformer 层整合进新的掩码预测网络来提升 Conv-TasNet 架构的序列建模能力。为使模型在计算上可行，我们使用线性复杂度注意力以及堆叠的一维扩张深度可分离卷积层扩展了 Conformer。我们在 3,396 小时的含噪语音数据上训练了该模型，并表明（i）线性复杂度注意力的使用避免了高计算复杂度，（ii）我们的模型取得了比改进的时间扩张卷积网络（TDCN++，Conv-TasNet 的扩展版本）更高的尺度不变信噪比。
引用
@article{arxiv.2106.15813,
title = {DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement},
author = {Yuma Koizumi and Shigeki Karita and Scott Wisdom and Hakan Erdogan and John R. Hershey and Llion Jones and Michiel Bacchiani},
journal= {arXiv preprint arXiv:2106.15813},
year = {2021}
}
备注
5 pages, 2 figure. accepted for WASPAA 2021