面向原声吉他的实时打击技巧识别与嵌入学习
声音
2023-07-17 v1 人工智能
机器学习
音频与语音处理
摘要
实时音乐信息检索（RT-MIR）在增强传统声学乐器能力方面具有很大潜力。我们开发了旨在增强打击式指弹的 RT-MIR 技术，该技术将原声吉他演奏与吉他本体打击乐相融合。我们为增强乐器演奏的 RT-MIR 系统制定了若干设计目标：（i）因果约束，（ii）感知上可忽略的动作到声音延迟，（iii）支持控制亲密性，（iv）支持合成控制。我们提出并评估了基于卷积神经网络（CNN）以及 CNN 与变分自编码器（VAE）联合训练的实时吉他本体打击识别与嵌入学习技术。我们基于手部部位和位置引入了吉他本体打击乐的分类法。我们采用跨数据集评估方法，收集了三个依据该分类法标注的数据集。使用对应于不同分类类别的分布之间的 KL 散度评估模型的嵌入质量。结果表明，这些网络是强分类器，尤其在简化的二分类识别任务中，且 VAE 相比 CNN 产生了改进的类分离，这由分布间增大的 KL 散度所证实。我们认为，当潜在空间的参数用于控制外部合成引擎时，VAE 嵌入质量可支持控制亲密性和丰富交互。进一步围绕泛化至不同数据集的设计挑战已被指出。
引用
@article{arxiv.2307.07426,
title = {Real-time Percussive Technique Recognition and Embedding Learning for the Acoustic Guitar},
author = {Andrea Martelloni and Andrew P McPherson and Mathieu Barthet},
journal= {arXiv preprint arXiv:2307.07426},
year = {2023}
}
备注
Accepted at the 24th Int. Society for Music Information Retrieval Conf., Milan, Italy, 2023