用于钢琴延音踏板检测的迁移学习
声音
2021-03-25 v1 音频与语音处理
摘要
在复调音乐中检测钢琴踏板技巧仍是音乐信息检索中的一项挑战性任务。虽然其他钢琴相关任务（如音高估计和起音检测）已通过应用深度学习方法得到改进，但开发用于检测演奏技巧的深度学习模型的工作甚少。本文中，我们提出一种用于检测延音踏板技巧的迁移学习方法，延音踏板是钢琴家常用以丰富音响的技巧。在源任务中，利用物理建模虚拟乐器生成的大型数据集训练卷积神经网络（CNN），以学习延音踏板按下时的频谱与时间上下文。该CNN通过利用钢琴声学与物理知识进行设计与实验，在验证结果中可达到0.98的准确率分数。在目标任务中，从合成数据学到的知识可迁移用于检测声学钢琴录音中的延音踏板。使用训练好的卷积层激活提取拼接特征向量，并从录音中分类为逐帧的踏板按下或释放。我们展示了该方法在肖邦音乐的声学钢琴录音中的有效性。从交叉验证结果看，所提迁移学习方法达到平均F值0.89，以及使用微平均F值得到的整体性能0.84。这些结果优于直接应用预训练CNN模型或仅微调最后一层的模型。
引用
@article{arxiv.2103.13219,
title = {Transfer Learning for Piano Sustain-Pedal Detection},
author = {Beici Liang and György Fazekas and Mark Sandler},
journal= {arXiv preprint arXiv:2103.13219},
year = {2021}
}
备注
Published in 2019 International Joint Conference on Neural Networks (IJCNN)