一种用于评估自动音乐转录重合成效果的感知度量
声音
2022-03-08 v2 机器学习
音频与语音处理
摘要
本研究关注当房间声学与乐器等上下文因素变化时，对音乐演奏的感知。我们提出将“演奏（performance）”与表达“艺术意图”的“诠释（interpretation）”概念区分开来。为评估这一区分，我们开展了一项实验评估，邀请91名受试者聆听通过自动音乐转录（AMT）系统与传感原声钢琴所得MIDI数据重合成的各种音频录音。在重合成过程中，我们模拟了不同上下文，并要求听众评估当上下文变化时诠释的变化程度。结果表明：（1）仅凭MIDI格式无法完全把握音乐演奏的艺术意图；（2）基于MIDI数据的常规客观评价指标与平均主观评价相关性较低。为弥合这一差距，我们提出了一种与测试结果显著相关的新度量。此外，我们通过提供一种新的乐谱引导AMT方法来研究多模态机器学习，并提出了一种针对-离散化问题的近似算法。
引用
@article{arxiv.2202.12257,
title = {A Perceptual Measure for Evaluating the Resynthesis of Automatic Music Transcriptions},
author = {Federico Simonetta and Federico Avanzini and Stavros Ntalampiras},
journal= {arXiv preprint arXiv:2202.12257},
year = {2022}
}
备注
Accepted by Multimedia Tools and Applications (2022); supplementary materials are in the latex sources