NBC2：基于改进窄带 Conformer 的多通道语音分离
声音
2022-12-06 v1 音频与语音处理
摘要
本工作提出了一种多通道窄带语音分离网络。在短时傅里叶变换（STFT）域中，所提网络独立处理每个频率，且所有频率共用一个共享网络。对于每个频率，该网络执行端到端语音分离，即以麦克风信号的 STFT 系数作为输入，预测多个说话人的分离后 STFT 系数。所提网络学习对属于不同说话人的逐帧空间/导向矢量进行聚类。它主要由三部分组成。第一，自注意力网络。空间矢量聚类与自注意力机制在计算矢量相似度进而聚合相似矢量的原理上类似。第二，卷积前馈网络。卷积层用于信号平滑与混响处理。第三，一种新颖的隐层归一化方法，即组批归一化（GBN），专为所提窄带网络设计，以维持隐单元在频率上的分布。总体而言，所提网络命名为 NBC2，因其为我们先前 NBC（窄带 conformer）网络的改进版本。实验表明：1）所提网络大幅优于其他最先进方法；2）所提 GBN 相较于批/层/组归一化等其他归一化方法，将信号失真比提高了 3 dB；3）所提窄带网络与频谱无关，因其不学习频谱模式；4）所提网络确实在执行帧聚类（由注意力图证实）。
引用
@article{arxiv.2212.02076,
title = {NBC2: Multichannel Speech Separation with Revised Narrow-band Conformer},
author = {Changsheng Quan and Xiaofei Li},
journal= {arXiv preprint arXiv:2212.02076},
year = {2022}
}
备注
submitted to TASLP