MIDI-VAE：基于变分自编码器对音乐动态与配器建模及其在风格迁移中的应用
声音
2018-09-21 v1 机器学习
音频与语音处理
机器学习
摘要
我们介绍了 MIDI-VAE，一种基于变分自编码器（Variational Autoencoders）的神经网络模型，它能够处理具有多条乐器音轨的多声部音乐，并通过引入音符时值与力度来建模音乐的动态。我们展示了 MIDI-VAE 可以通过自动改变乐曲的音高、动态与乐器，将符号音乐从例如古典风格转换为爵士风格，从而实现风格迁移。我们通过训练独立的风格验证分类器来评估风格迁移的效果。我们的模型还可以在短乐曲之间进行插值、生成串烧曲以及创建整首歌曲的混合。这些插值平滑地改变音高、动态与配器，从而在两首乐曲之间建立和谐的桥梁。据我们所知，这项工作是首次成功尝试将神经风格迁移应用于完整的音乐作品。
引用
@article{arxiv.1809.07600,
title = {MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer},
author = {Gino Brunner and Andres Konrad and Yuyi Wang and Roger Wattenhofer},
journal= {arXiv preprint arXiv:1809.07600},
year = {2018}
}
备注
Paper accepted at the 19th International Society for Music Information Retrieval Conference, ISMIR 2018, Paris, France