全频动态卷积：一种用于声音事件检测的物理频率依赖卷积
音频与语音处理
2024-08-23 v2 声音
摘要
近来，二维卷积被发现不适用于声音事件检测（SED）。它强制声音事件沿频率轴具有平移等变性，而频率轴并非平移不变的维度。为解决这一问题，动态卷积被用于建模声音事件的频率依赖性。本文提出了首个全动态方法，名为全频动态卷积（FFDConv）。FFDConv为每个频带生成频率核，该设计直接在结构中实现频率依赖建模。它从物理上赋予了二维卷积频率依赖建模的能力。在DESED真实验证数据集上，FFDConv不仅在PSDS1指标上超越基线6.6%，也优于其他全动态方法。此外，通过可视化声音事件的特征，我们观察到FFDConv能够有效提取特定频带中的相干特征，这与声音事件的声学连续性一致。这证明FFDConv具有出色的频率依赖感知能力。
引用
@article{arxiv.2401.04976,
title = {Full-frequency dynamic convolution: a physical frequency-dependent convolution for sound event detection},
author = {Haobo Yue and Zhicheng Zhang and Da Mu and Yonghao Dang and Jianqin Yin and Jin Tang},
journal= {arXiv preprint arXiv:2401.04976},
year = {2024}
}
备注
Accepted by ICPR2024