面向大规模音乐音频标注的端到端学习
声音
2018-06-18 v4 音频与语音处理
摘要
数据匮乏往往会限制深度学习研究的成果，尤其在处理诸如波形等原始数据的端到端学习栈时。本研究中，有 120 万条带有音乐标签的音轨可用于训练我们的端到端模型。如此大量的数据使我们能够不受限制地探索音乐自动标注的两种不同设计范式：无假设模型——以波形为输入并使用极小的卷积滤波器；以及依赖领域知识的模型——对数梅尔谱图配合为学习音色与时域特征而设计的卷积神经网络。我们的工作聚焦于研究当可变规模的数据集可用于训练时这两类深度架构的表现：MagnaTagATune (2.5 万首歌曲)、Million Song Dataset (24 万首歌曲) 以及一个含 120 万首歌曲的私有数据集。我们的实验表明，当训练数据不足时音乐领域假设是相关的，从而展示了在大规模数据场景下基于波形的模型优于基于谱图的模型。
引用
@article{arxiv.1711.02520,
title = {End-to-end learning for music audio tagging at scale},
author = {Jordi Pons and Oriol Nieto and Matthew Prockup and Erik Schmidt and Andreas Ehmann and Xavier Serra},
journal= {arXiv preprint arXiv:1711.02520},
year = {2018}
}
备注
Presented at the Workshop on Machine Learning for Audio Signal Processing (ML4Audio) at NIPS 2017, and in proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR2018). Code: https://github.com/jordipons/music-audio-tagging-at-scale-models. Demo: http://www.jordipons.me/apps/music-audio-tagging-at-scale-demo/