基于窄带Conformer的多通道语音分离
声音
2022-07-04 v2 音频与语音处理
摘要
本文提出一种基于窄带Conformer（称为NBC）的多通道语音分离方法。该网络经训练可自动利用窄带语音分离信息，例如多说话人的空间向量聚类。具体而言，在短时傅里叶变换（STFT）域中，网络独立处理每个频率，并在所有频率间共享。对于一个频率，网络输入多通道混合信号的STFT系数，并预测分离语音信号的STFT系数。空间向量聚类的原理与自注意力机制相似，即计算向量相似度然后聚合相似向量。因此，Conformer特别适用于当前问题。实验表明，所提出的窄带Conformer以较大优势取得了优于其他最先进方法的语音分离性能。
引用
@article{arxiv.2204.04464,
title = {Multichannel Speech Separation with Narrow-band Conformer},
author = {Changsheng Quan and Xiaofei Li},
journal= {arXiv preprint arXiv:2204.04464},
year = {2022}
}
备注
accepted by INTERSPEECH 2022