通过玩音乐拼图游戏生成音乐串烧

生成音乐串烧是指寻找给定一组音乐片段的最优排列。针对此目标，我们提出了一种自监督学习任务，称为音乐拼图游戏，用于训练神经网络模型学习音乐中的序列模式。本质上，这样的游戏要求机器正确地排序几个持续数秒的音乐片段。在训练阶段，我们通过从同一歌曲中采样多个不重叠的片段对，并试图预测给定片段对是否连续且处于正确的时间顺序来学习模型。在测试时，我们设计了若干不同难度级别的拼图游戏，最困难的一个是音乐串烧，它需要排序来自不同歌曲的片段。基于最先进的孪生卷积网络，我们提出了一种改进的架构，学习将输入片段对计算出的帧级相似度分数嵌入到一个公共空间中，在该空间中处于正确顺序的片段对可以更易于识别。我们的结果表明，所得模型被称为相似度嵌入网络（SEN），在不同游戏中均优于竞争模型，包括音乐拼图、音乐排序和音乐串烧。示例结果可在我们的项目网站 https://remyhuang.github.io/DJnet 找到。