MERTech:基于自监督预训练模型与多任务微调的乐器演奏技法检测
声音
2023-10-17 v1 人工智能
机器学习
多媒体
音频与语音处理
摘要
乐器演奏技法(IPTs)构成音乐表达的关键组成部分。然而,自动 IPT 检测方法的发展受限于标注数据不足和固有的类不平衡问题。在本文中,我们提出应用一个在大规模无标注音乐数据上自监督预训练的模型,并在 IPT 检测任务上对其进行微调。该方法解决了数据稀缺和类不平衡挑战。认识到音高在捕捉 IPT 细微差别中的重要性以及起音在定位 IPT 事件中的重要性,我们研究了以音高和起音检测为辅助任务的多任务微调。此外,我们应用一种用于事件级预测的后处理方法,其中仅当起音输出确认该帧中存在起音时,IPT 激活才发起一个事件。我们的方法在多个 IPT 基准数据集上的帧级和事件级指标均优于先前方法。进一步实验证明了多任务微调对各 IPT 类的有效性。
引用
@article{arxiv.2310.09853,
title = {MERTech: Instrument Playing Technique Detection Using Self-Supervised Pretrained Model With Multi-Task Finetuning},
author = {Dichucheng Li and Yinghao Ma and Weixing Wei and Qiuqiang Kong and Yulun Wu and Mingjin Che and Fan Xia and Emmanouil Benetos and Wei Li},
journal= {arXiv preprint arXiv:2310.09853},
year = {2023}
}
备注
submitted to ICASSP 2024