利用对比学习与播放列表信息进行音乐分类与相似度预训练策略
声音
2023-04-25 v1 音频与语音处理
摘要
在本工作中,我们研究一种依赖对比学习和音乐元数据作为弱监督来源来训练音乐表示模型的方法。近期研究表明,对比学习可结合编辑元数据(如艺术家或专辑名)来学习对多种分类任务有用的音频表示。在本文中,我们将该思想扩展至使用播放列表数据作为音乐相似度信息来源,并探究三种生成锚定曲目与正样本曲目对的方法。我们通过微调预训练模型用于音乐多标签分类任务(流派、情绪和乐器标注)以及音乐相似度来评估这些方法。我们发现,相较于既往工作中选取同一艺术家的曲目,利用播放列表中的共现关系来生成锚定与正样本曲目对可提供更优的音乐相似度及具竞争力的分类结果。此外,我们基于播放列表的最佳预训练方法在大多数数据集上提供了更优的分类性能。
引用
@article{arxiv.2304.12257,
title = {Pre-Training Strategies Using Contrastive Learning and Playlist Information for Music Classification and Similarity},
author = {Pablo Alonso-Jiménez and Xavier Favory and Hadrien Foroughmand and Grigoris Bourdalas and Xavier Serra and Thomas Lidy and Dmitry Bogdanov},
journal= {arXiv preprint arXiv:2304.12257},
year = {2023}
}
备注
Accepted at the 2023 International Conference on Acoustics, Speech, and Signal Processing (ICASSP'23)