学习深度直达路径相对传递函数用于双耳声源定位
声音
2022-02-17 v1 音频与语音处理
摘要
直达路径相对传递函数（DP-RTF）是指两个麦克风通道直达路径声学传递函数之间的比值。尽管DP-RTF完整编码了声音空间线索并可作为可靠的定位特征，但在噪声和混响存在下其估计常常出错。本文提出利用深度神经网络学习DP-RTF，以实现鲁棒的双耳声源定位。设计了一个DP-RTF学习网络，将双耳传感器信号回归到DP-RTF的实值表示。该网络由分支卷积神经网络模块（分别提取通道间幅度和相位模式）和卷积循环神经网络模块（用于联合特征学习）组成。为了更好地利用语音频谱辅助DP-RTF估计，采用单耳语音增强网络从含噪频谱中恢复直达路径频谱图。增强后的频谱图与含噪频谱图堆叠，作为DP-RTF学习网络的输入。我们使用多种不同的双耳阵列训练一个唯一的DP-RTF学习网络，以实现DP-RTF学习在阵列间的泛化。这种方式避免了为新阵列进行耗时的训练数据收集和网络重训练，在实际应用中非常有用。在仿真和真实数据上的实验结果表明，所提方法在噪声和混响环境下对到达方向（DOA）估计有效，并对未见过的双耳阵列具有良好的泛化能力。
引用
@article{arxiv.2202.07841,
title = {Learning Deep Direct-Path Relative Transfer Function for Binaural Sound Source Localization},
author = {Bing Yang and Hong Liu and Xiaofei Li},
journal= {arXiv preprint arXiv:2202.07841},
year = {2022}
}
备注
Accepted by TASLP 2021