半监督对比学习的音乐表征
音频与语音处理
2024-07-22 v1
摘要
尽管对比学习在音乐信息检索领域取得了成功，但对比自监督固有的模糊性仍是一个挑战。仅依赖增强链和自监督正采样策略会导致预训练目标未能捕捉下游任务的关键音乐信息。我们引入半监督对比学习（SemiSupCon），一种简单的方法，用于在音乐表征的对比学习中利用音乐信息的标记数据（监督信号）。我们的方法通过组合监督和自监督对比目标于一个比以前方法更简单的框架中引入音乐相关的监督信号。该框架在获得 moderate 标记数据量的情况下提高了下游性能和对音频损坏的鲁棒性。我们的做法通过标记数据选择的影响，使所学相似性度量能够（1）将音乐领域知识注入表征，并（2）以最小的下游性能损失提升域外性能。我们在音乐相关但非平凡相似的任务——如音高和调性估计——上显示出强大的迁移学习性能。此外，我们的做法在仅包含 5% 可用标签的情况下，相较于自监督方法在自动标记任务上实现性能提升。
引用
@article{arxiv.2407.13840,
title = {Semi-Supervised Contrastive Learning of Musical Representations},
author = {Julien Guinot and Elio Quinton and György Fazekas},
journal= {arXiv preprint arXiv:2407.13840},
year = {2024}
}
备注
Accepted to be published at the Proceedings of the 25th International Society for Music Information Retrieval Conference 2024, Includes non-proceedings appendix