基于离线强化学习的在线符号音乐对齐
声音
2024-01-02 v1 机器学习
音频与语音处理
摘要
符号音乐对齐是将演奏的MIDI音符与对应的乐谱音符进行匹配的过程。本文介绍了一种基于强化学习(RL)的在线符号音乐对齐技术。RL智能体——一个基于注意力的神经网络——从局部乐谱和演奏上下文中迭代估计当前乐谱位置。对于这个符号对齐任务，环境状态可以穷举采样，奖励密集，因此可以简化为离线RL问题。我们以三种方式评估训练好的智能体：首先，识别采样测试上下文的正确乐谱位置的能力；其次，作为完整在线符号逐音符对齐算法的核心技术；最后，作为实时符号乐谱跟随器。我们进一步研究了用作智能体输入的基于音高的乐谱和演奏表示。为此，我们开发了第二个模型，一种基于两步动态时间规整(DTW)的离线对齐算法，利用相同的输入表示。所提出的模型优于最先进的离线符号音乐对齐参考模型。
引用
@article{arxiv.2401.00466,
title = {Online Symbolic Music Alignment with Offline Reinforcement Learning},
author = {Silvan David Peter},
journal= {arXiv preprint arXiv:2401.00466},
year = {2024}
}