面向计算高效声音事件检测的频率与通道注意力
声音
2023-08-30 v2 音频与语音处理
摘要
我们探索了在频率与通道维度上用于声音事件检测（SED）的多种注意力方法，以期在最小计算成本增加下提升性能，同时利用领域知识处理音频数据的频率维度。我们在先前工作中引入了频率动态卷积（FDY conv），以缓解二维音频数据频率维度上二维卷积带来的平移等变问题。尽管该方法取得了最先进的SED性能，但其可训练参数增加了150%。为以计算高效方法实现可比的SED性能以兼顾实用性，我们探索了更轻量的替代注意力方法。此外，我们聚焦于应用于频率与通道维度的注意力方法。联合应用Squeeze-and-excitation（SE）模块与时帧频率向SE（tfwSE）以在频率与通道维度同时施加注意力，展现出与含FDY conv的SED模型相当的性能，而相较基线模型仅多2.7%的可训练参数。此外，我们对多种注意力方法进行了类别级比较，以进一步讨论各类注意力方法的特性。
引用
@article{arxiv.2306.11277,
title = {Frequency & Channel Attention for Computationally Efficient Sound Event Detection},
author = {Hyeonuk Nam and Seong-Hu Kim and Deokki Min and Yong-Hwa Park},
journal= {arXiv preprint arXiv:2306.11277},
year = {2023}
}
备注
Accepted to DCASE 2023 workshop