基于跨模态神经模型重编程的低资源音乐流派分类
声音
2023-05-04 v3 人工智能
机器学习
神经与进化计算
音频与语音处理
摘要
迁移学习（TL）方法在处理训练数据有限的任务时展现出了有前景的结果。然而，使用目标领域数据微调预训练神经网络通常需要可观的内存与计算资源。在本工作中，我们基于神经模型重编程（NMR）的概念，引入了一种利用预训练模型进行低资源（音乐）分类的新方法。NMR旨在通过修改冻结的预训练模型的输入，将源领域的预训练模型重新用于目标领域。除了已知的、输入无关的重编程方法外，我们提出了一种先进的重编程范式：输入依赖的NMR，以增强对音乐音频等复杂输入数据的适应性。实验结果表明，在大规模数据集上预训练的神经模型可借助该重编程方法成功执行音乐流派分类。所提出的两种输入依赖NMR迁移学习方法在一个小型流派分类数据集上优于基于微调的TL方法。
引用
@article{arxiv.2211.01317,
title = {Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming},
author = {Yun-Ning Hung and Chao-Han Huck Yang and Pin-Yu Chen and Alexander Lerch},
journal= {arXiv preprint arXiv:2211.01317},
year = {2023}
}
备注
Accepted to IEEE ICASSP 2023. The implementation is available at https://github.com/biboamy/music-repro