一种基于迁移学习与循环神经网络的通用声音事件定位与检测网络架构
音频与语音处理
2020-11-17 v1
摘要
多声源声音事件检测与定位(SELD)任务具有挑战性,因为难以在同一网络中联合优化声音事件检测(SED)与到达方向(DOA)估计。我们提出了一种通用的SELD网络架构,其中SELD网络由独立预训练以解决SED和DOA估计的子网络,以及一个将SED和DOA估计输出组合为SELD输出的循环层组成。该循环层在不知晓上游SED和DOA估计算法如何产生这些输出的情况下,完成声音类别与声音事件DOA之间的对齐。这一简单的网络架构兼容不同的现有SED和DOA估计算法。由于子网络可独立改进,其实用性很高。使用DCASE 2020 SELD数据集的实验结果表明,我们所提网络架构采用不同SED和DOA估计算法及不同音频格式时的性能与其他最先进的SELD算法相当。所提SELD网络架构的源代码发布于Github。
引用
@article{arxiv.2011.07859,
title = {A General Network Architecture for Sound Event Localization and Detection Using Transfer Learning and Recurrent Neural Network},
author = {Thi Ngoc Tho Nguyen and Ngoc Khanh Nguyen and Huy Phan and Lam Pham and Kenneth Ooi and Douglas L. Jones and Woon-Seng Gan},
journal= {arXiv preprint arXiv:2011.07859},
year = {2020}
}