面向环境声音分类的帧级注意力学习
声音
2020-07-15 v1 音频与语音处理
摘要
环境声音分类（ESC）由于声音的复杂性而是一个具有挑战性的问题。分类性能严重依赖于从环境声音中提取的代表性特征的有效性。然而，ESC 常常受到语义无关帧和静音帧的困扰。为了解决这个问题，我们采用帧级注意力模型来聚焦于语义相关帧和显著帧。具体而言，我们首先提出一种卷积循环神经网络来学习谱-时域特征和时间相关性。然后，我们用帧级注意力机制扩展我们的卷积 RNN 模型，以学习用于 ESC 的判别性特征表示。我们研究了使用不同注意力缩放函数和应用不同层时的分类性能。实验在 ESC-50 和 ESC-10 数据集上进行。实验结果证明了所提方法的有效性，且我们的方法以更低的计算复杂度达到了最先进或具竞争力的分类准确率。我们还可视化了我们的注意力结果，并观察到所提注意力机制能够引导网络聚焦于环境声音的语义相关部分。
引用
@article{arxiv.2007.07241,
title = {Learning Frame Level Attention for Environmental Sound Classification},
author = {Zhichao Zhang and Shugong Xu and Shunqing Zhang and Tianhao Qiao and Shan Cao},
journal= {arXiv preprint arXiv:2007.07241},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1907.02230