基于复调对比学习的音乐信号自监督节拍跟踪
声音
2023-07-18 v2 机器学习
音频与语音处理
摘要
标注音乐节拍是一个极为漫长且繁琐的过程。为应对此问题，我们提出了一种用于节拍跟踪与下拍估计的自监督学习代理任务。该任务利用音频源分离模型 Spleeter 将歌曲的鼓声与其余信号分离。第一组信号被用作对比学习预训练的正样本，并由此引申为负样本。而无鼓信号则被用作锚点。当使用此代理任务预训练一个全卷积与循环模型时，会学习到一个起音函数。在某些情况下，该函数被发现映射到歌曲中的周期性元素。我们发现，当节拍跟踪训练集极小时（少于 10 个样本），预训练模型优于随机初始化模型。若非如此，预训练会导致学习加速，使模型对训练集过拟合。更一般地，本工作定义了音乐自监督学习领域的新视角，其显著是首批将音频源分离作为自监督基本组成部分的工作之一。
引用
@article{arxiv.2201.01771,
title = {Self-Supervised Beat Tracking in Musical Signals with Polyphonic Contrastive Learning},
author = {Dorian Desblancs},
journal= {arXiv preprint arXiv:2201.01771},
year = {2023}
}
备注
59 pages, 20 figures, masters thesis, degree granted