使用卷积循环神经网络进行重叠声源的事件定位与检测
声音
2018-12-18 v3 音频与语音处理
摘要
在本文中，我们提出一种卷积循环神经网络，用于在三维（3D）空间中对多个重叠声音事件进行联合声音事件定位与检测（SELD）。所提网络以一连串连续的频谱图时间帧作为输入，并并行映射到两个输出。作为第一个输出，声音事件检测（SED）在每个时间帧上作为多标签分类任务执行，为所有声音事件类别生成时间活动。作为第二个输出，通过使用多输出回归估计每个声音事件类别的到达方向（DOA）的 3D 笛卡尔坐标来进行定位。所提方法能够将多个 DOA 与相应的声音事件标签关联，并进一步随时间跟踪该关联。所提方法分别使用在每个音频通道上计算的频谱图的相位和幅度分量作为特征，从而避免了任何方法和阵列特定的特征提取。该方法在五个 Ambisonic 和两个圆形阵列格式的数据集上进行了评估，这些数据集包含消声、混响和真实场景中具有不同重叠声音事件的数据。所提方法与两个 SED、三个 DOA 估计和一个 SELD 基线进行了比较。结果表明，所提方法具有通用性，适用于任何阵列结构，对未见过的 DOA 值、混响和低 SNR 场景具有鲁棒性。与最佳基线相比，所提方法在不同数据集上对所估计 DOA 数量的召回率持续更高。此外，对于更多数量的重叠声音事件，该召回率被观察到显著优于最佳基线方法。
引用
@article{arxiv.1807.00129,
title = {Sound Event Localization and Detection of Overlapping Sources Using Convolutional Recurrent Neural Networks},
author = {Sharath Adavanne and Archontis Politis and Joonas Nikunen and Tuomas Virtanen},
journal= {arXiv preprint arXiv:1807.00129},
year = {2018}
}
备注
Published in Journal of Selected Topics in Signal Processing 2018