定位与波束成形：面向多通道语音分离的二维定位全神经网络波束成形器
音频与语音处理
2023-06-05 v3
摘要
近来，当方向信息可用时，神经波束成形器在多通道语音分离上取得了惊人的改进。然而，多数方法忽视利用混合信号中包含的说话人二维（2D）位置线索，这在两个声源来自相近方向时限制了性能。本文中，我们提出一种端到端波束成形网络，仅给定混合信号即可进行 2D 定位引导的语音分离。它首先估计可区分的方向与 2D 位置线索，其隐含声源来自麦克风多视角下的方向及其 2D 坐标。这些线索随后被整合进位置感知神经波束成形器，从而允许准确重建两个声源的语音信号。实验表明，我们提出的模型不仅相比基线系统取得全面可观改进，且避免了在空间重叠情形下的性能劣化。
引用
@article{arxiv.2305.10821,
title = {Locate and Beamform: Two-dimensional Locating All-neural Beamformer for Multi-channel Speech Separation},
author = {Yanjie Fu and Meng Ge and Honglong Wang and Nan Li and Haoran Yin and Longbiao Wang and Gaoyan Zhang and Jianwu Dang and Chengyun Deng and Fei Wang},
journal= {arXiv preprint arXiv:2305.10821},
year = {2023}
}
备注
Accepted by Interspeech 2023. arXiv admin note: substantial text overlap with arXiv:2212.03401