用于乐器识别的视觉注意力
音频与语音处理
2020-06-23 v2 信息检索
机器学习
声音
摘要
在音乐信息检索领域，同时识别复调录音中多种乐器存在与否的任务仍是一个难题。先前工作通过在多示例多标签设置中应用时间注意力来改进乐器分类取得了一定成功，而另一系列工作也指出了音高和音色在提升乐器识别性能中的作用。在本项目中，我们进一步探索在音色-时间意义上使用注意力机制（类似于视觉注意力）来利用弱标记数据改进乐器识别性能。我们探索了两种实现该任务的方法。第一种方法将注意力机制应用于滑动窗口范式，其中基于每个音色-时间“示例”的预测被赋予注意力权重，再进行聚合以产生最终预测。第二种方法基于视觉注意力的循环模型，网络仅关注频谱图的某些部分，并在给定有限数量“瞥见”的情况下决定下一步关注何处。
引用
@article{arxiv.2006.09640,
title = {Visual Attention for Musical Instrument Recognition},
author = {Karn Watcharasupat and Siddharth Gururani and Alexander Lerch},
journal= {arXiv preprint arXiv:2006.09640},
year = {2020}
}
备注
6 pages, 7 figures. Karn Watcharasupat is currently with the School of Electrical and Electronic Engineering, Nanyang Technological University. This work was done while she was with the Center for Music Technology, Georgia Institute of Technology on an exchange semester