一种用于乐器识别的注意力机制
信息检索
2019-07-10 v1 声音
音频与语音处理
摘要
尽管乐器的自动识别已取得显著进展，但相较于单乐器录音，对于包含多种乐器的音乐而言该任务仍被认为困难。复调乐器识别的数据集大致可分为两类。一些如MedleyDB具有强的逐帧乐器活动标注，但规模通常较小。其他更大的数据集如OpenMIC仅具有弱标签，即仅针对歌曲的较长片段标注乐器的存在或缺失。我们探索了一种用于处理弱标签数据的多标签乐器识别注意力机制。注意力已被发现对其他弱标签数据任务表现良好。我们将所提出的注意力模型与多个模型进行比较，包括基线二值相关性随机森林、循环神经网络和全连接神经网络。我们的结果表明，引入注意力在OpenMIC数据集中全部20种乐器的分类准确率指标上带来了整体提升。我们发现注意力使模型能够聚焦于（或“关注于”）与每个乐器标签相关的音频特定时间段，从而产生可解释的结果。
引用
@article{arxiv.1907.04294,
title = {An Attention Mechanism for Musical Instrument Recognition},
author = {Siddharth Gururani and Mohit Sharma and Alexander Lerch},
journal= {arXiv preprint arXiv:1907.04294},
year = {2019}
}
备注
To appear in: Proceedings of the International Society for Music Information Retrieval Conference (ISMIR), Delft, 2019