MS-SincResNet：使用多尺度 SincNet 与 ResNet 联合学习一维和二维核用于音乐流派分类
声音
2021-09-21 v1 人工智能
音频与语音处理
摘要
在本研究中，我们提出了一种称为 MS-SincResNet 的新型端到端卷积神经网络，用于音乐流派分类。MS-SincResNet 将一维多尺度 SincNet（MS-SincNet）附加到二维 ResNet 作为第一个卷积层，试图在训练阶段联合学习一维核与二维核。首先，将输入音乐信号划分为若干固定时长（本研究中为 3 秒）的音乐片段，并将每个音乐片段的原始波形送入一维 MS-SincNet 滤波器学习模块以获得三通道二维表示。与频谱图、谐波频谱图、打击乐频谱图和梅尔频谱图相比，所学表示携带丰富的音色、谐波和打击乐特征。随后使用 ResNet 从这些二维表示中提取有判别性的嵌入。进一步使用空间金字塔池化（SPP）模块以增强特征在时间与频率两方面的判别性，从而获得每个音乐片段的分类标签。最后，应用投票策略汇总所有 3 秒音乐片段的分类结果。在我们的实验结果中，我们证明所提出的 MS-SincResNet 优于基线 SincNet 和许多知名手工特征。考虑单独的二维表示，MS-SincResNet 在 GTZAN 数据集和 ISMIR2004 数据集上也取得了与最先进方法相竞争的结果。代码可在 https://github.com/PeiChunChang/MS-SincResNet 获取。
引用
@article{arxiv.2109.08910,
title = {MS-SincResNet: Joint learning of 1D and 2D kernels using multi-scale SincNet and ResNet for music genre classification},
author = {Pei-Chun Chang and Yong-Sheng Chen and Chang-Hsing Lee},
journal= {arXiv preprint arXiv:2109.08910},
year = {2021}
}