基于音色与音高的帧级乐器识别
声音
2018-06-26 v1 音频与语音处理
摘要
乐器识别是音乐信息检索中的一项基础任务，然而针对多乐器音乐在每个时间帧上预测乐器存在性的研究甚少。该任务不仅对自动转录十分重要，也关乎许多检索问题。本文利用新发布的 MusicNet 数据集来研究这一方向，通过构建并评估一个卷积神经网络来进行帧级乐器预测。我们将该问题视为每一帧的多标签分类问题，并使用帧级标注作为训练网络时的监督信号。此外，我们尝试了不同方式将音高信息融入模型，其前提在于这样做能告知模型每帧激活的音符，并促使模型学习不同乐器谐波分音中能量积累的相对速率。实验表明，相较基线方法性能有显著提升。我们还报告了一项分析，探究音高信息如何助力乐器预测任务。代码与实验细节见 \url{https://biboamy.github.io/instrument-recognition/}。
引用
@article{arxiv.1806.09587,
title = {Frame-level Instrument Recognition by Timbre and Pitch},
author = {Yun-Ning Hung and Yi-Hsuan Yang},
journal= {arXiv preprint arXiv:1806.09587},
year = {2018}
}