基于特征金字塔注意力残差神经网络的环境声音分类
声音
2022-05-31 v1 人机交互
音频与语音处理
摘要
环境声音分类（ESC）是一个具有挑战性的问题，因为声音信号中存在非结构化的时空关系。近来，许多研究聚焦于从卷积神经网络中提取特征，而声音信号中语义相关帧的学习被忽视。为此，我们提出一个端到端框架，即特征金字塔注意力网络（FPAM），专注于为 ESC 提取语义相关特征。我们首先通过骨干网络提取声音波形预处理后频谱图的特征图。然后，为构建声音频谱图的多尺度层次特征，我们通过聚合多尺度层的特征图构建声音频谱图的特征金字塔表示，其中语义相关帧的时间帧和空间位置由 FPAM 定位。具体而言，多个特征首先经维度对齐模块处理。随后，金字塔空间注意力模块（PSA）结合空间注意力模块（SAM）用于空间定位重要的频率区域。最后，经处理的特征图由金字塔通道注意力（PCA）细化以定位重要时间帧。为证明所提 FPAM 的有效性，我们展示了频谱图上注意力图的可视化。可视化结果表明 FPAM 能更多关注语义相关区域而忽略噪声。所提方法的有效性在两个广泛使用的 ESC 数据集 ESC-50 和 ESC-10 上得到验证。实验结果表明 FPAM 取得了与最先进方法相当的性能。与基线方法相比，FPAM 实现了显著的性能提升。
引用
@article{arxiv.2205.14411,
title = {Feature Pyramid Attention based Residual Neural Network for Environmental Sound Classification},
author = {Liguang Zhou and Yuhongze Zhou and Xiaonan Qi and Junjie Hu and Tin Lun Lam and Yangsheng Xu},
journal= {arXiv preprint arXiv:2205.14411},
year = {2022}
}