SoundDet：基于原始波形的复音运动声事件检测与定位
声音
2021-08-24 v2 机器学习
音频与语音处理
摘要
我们提出了一种新框架SoundDet，它是一个端到端可训练且轻量的框架，用于复音运动声事件检测与定位。先前的方法通常通过将原始波形预处理为时频表示来处理此问题，这更易于用成熟的图像处理流程处理。先前的方法还以分段方式检测，导致不完整和局部的检测。SoundDet采用一种新颖方法，直接消费原始多通道波形，并将时空声事件视为一个待检测的完整“声物体”。具体而言，SoundDet由一个骨干神经网络和两个分别用于时间检测和空间定位的并行头组成。鉴于原始波形的高采样率，骨干网络首先学习一组相位敏感和频率选择的滤波器组，以显式保留到达方向信息，同时比标准1D/2D卷积在计算和参数上高效得多。然后构建密集声事件提议图，以应对预测具有大时间时长变化事件的挑战。伴随密集提议图的是时间重叠图和运动平滑图，它们从时间检测准确性和运动一致性角度衡量提议作为事件的置信度。引入这两个图保证了SoundDet以时空统一的方式训练。在公开DCASE数据集上的实验结果显示了SoundDet在基于段和我们新提出的基于事件的评估系统上的优势。
引用
@article{arxiv.2106.06969,
title = {SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform},
author = {Yuhang He and Niki Trigoni and Andrew Markham},
journal= {arXiv preprint arXiv:2106.06969},
year = {2021}
}
备注
ICML21