复音音频事件检测：多标签还是多类多任务分类问题？
音频与语音处理
2022-02-01 v1 声音
摘要
复音事件是音频事件检测（AED）系统的主要误差来源。在深度学习背景下，处理事件重叠最常见的方法是将 AED 任务视为多标签分类问题。这样做时，我们本质上考虑了多个一对多分类问题，并由单一（即共享的）网络联合求解。在本工作中，为了更好地处理复音混合，我们提出将该任务构建为多类分类问题，将每种可能的标签组合视为一个类别。为规避因组合爆炸而产生的庞大类别数量，我们将事件类别划分为多个组，并以分而治之的方式构建多任务问题，其中每个任务均为一个多类分类问题。随后设计了一种用于多类多任务建模的网络架构。该网络由骨干子网络和多个任务特定子网络组成。任务特定子网络被设计为学习时频与通道注意力掩码，以从骨干网络学习的公共特征图中提取当前任务的特征。在具有高度事件重叠的 TUT-SED-Synthetic-2016 上的实验表明，所提方法取得了优于常见多标签方法的性能。
引用
@article{arxiv.2201.12557,
title = {Polyphonic audio event detection: multi-label or multi-class multi-task classification problem?},
author = {Huy Phan and Thi Ngoc Tho Nguyen and Philipp Koch and Alfred Mertins},
journal= {arXiv preprint arXiv:2201.12557},
year = {2022}
}
备注
This paper has been accepted to IEEE ICASSP 2022