利用Transformer网络重建钢琴演奏中的人类表现力
声音
2023-10-03 v2 机器学习
音频与语音处理
摘要
利用计算方法捕捉音乐演奏中人类表现力的复杂而微妙的变化是一项挑战。在本文中，我们提出了一种利用多层双向Transformer编码器重建钢琴演奏中人类表现力的新方法。为了解决训练神经网络所需的大量精确捕捉且与乐谱对齐的演奏数据问题，我们使用从现有转录模型获得的转录乐谱来训练我们的模型。我们整合钢琴家身份以控制采样过程，并探索我们的系统为不同钢琴家建模表现力变化的能力。该系统通过对生成的表现性演奏的统计分析和听音测试进行评估。总体而言，结果表明我们的方法在从转录乐谱生成类人钢琴演奏方面达到了最先进水平（state-of-the-art），而完整且一致地重建人类表现力则带来了进一步的挑战。
引用
@article{arxiv.2306.06040,
title = {Reconstructing Human Expressiveness in Piano Performances with a Transformer Network},
author = {Jingjing Tang and Geraint Wiggins and Gyorgy Fazekas},
journal= {arXiv preprint arXiv:2306.06040},
year = {2023}
}
备注
12 pages, 5 figures, accepted by CMMR2023, the 16th International Symposium on Computer Music Multidisciplinary Research