面向鲁棒基于用户的业余人声打击乐分类的深度嵌入
声音
2022-04-12 v1 信息检索
音频与语音处理
摘要
人声打击乐转写（VPT）关注人声打击乐声音事件的自动检测与分类，使音乐创作者和制作人员能够即时勾勒鼓点线条。VPT 系统中的分类器算法从小规模用户特定数据集中学习效果最佳，这通常将建模限制为较小的输入特征集以避免数据过拟合。本研究探索了若干深度监督学习策略，以获取用于业余人声打击乐分类的信息丰富特征集。我们在常规人声打击乐分类任务上评估了这些特征集的性能，并将其与包括特征选择方法和语音识别引擎在内的若干基线方法进行了比较。这些所提学习模型使用包含来自四个不同抽象层级信息的若干标签集进行监督：乐器级、音节级、音素级和 boxeme 级。结果表明，使用音节级标注监督的卷积神经网络生成了最具信息量的分类嵌入，其可用作拟合分类器的输入表示。最后，我们使用基于反向传播的显著性图来探究不同谱图区域对于特征学习的重要性。
引用
@article{arxiv.2204.04646,
title = {Deep Embeddings for Robust User-Based Amateur Vocal Percussion Classification},
author = {Alejandro Delgado and Emir Demirel and Vinod Subramanian and Charalampos Saitis and Mark Sandler},
journal= {arXiv preprint arXiv:2204.04646},
year = {2022}
}
备注
Accepted at Sound and Music Computing (SMC) conference 2022