用多标签多任务卷积循环神经网络统一孤立与重叠音频事件检测
机器学习
2019-02-20 v2 声音
音频与语音处理
机器学习
摘要
我们提出了一种基于卷积循环神经网络的多标签多任务框架，以统一检测孤立和重叠音频事件。该框架利用了卷积循环神经网络架构的优势；卷积层学习有效特征，其上层的循环层进行序列建模。此外，输出层被设计为可处理任意程度的事件重叠。在循环输出序列的每个时间步，为每个感兴趣的事件类别分配一个输出三元组，以联合建模事件发生与时间边界。即，网络通过在每个循环时间步估计起始和结束位置，联合判定该类别事件是否发生以及何时发生。随后我们引入三种序列损失用于网络训练：多标签分类损失、距离估计损失和置信度损失。我们在两个数据集上展示了良好的泛化能力：用于孤立音频事件检测的ITC-Irst，以及用于重叠音频事件检测的TUT-SED-Synthetic-2016。
引用
@article{arxiv.1811.01092,
title = {Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks},
author = {Huy Phan and Oliver Y. Chén and Philipp Koch and Lam Pham and Ian McLoughlin and Alfred Mertins and Maarten De Vos},
journal= {arXiv preprint arXiv:1811.01092},
year = {2019}
}
备注
Accepted for the 44th International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2019)