PocketVAE：用于律动生成与控制的二步模型
声音
2021-07-13 v1 音频与语音处理
摘要
在数字音频工作站（DAWs）中创作一段模仿熟练演奏者的良好鼓轨可能耗时，尤其对不熟悉鼓的人而言。本文介绍PocketVAE，一种将律动应用于用户初级MIDI音轨（即模板）的律动生成系统。律动可来自参考音轨迁移、随机生成，或带条件（如流派）生成。我们的系统由每个律动组件的不同模块组成，采用类似于音乐创作过程的二步法。首先，音符模块通过增删音符更新用户模板；其次，力度与微时序模块为该生成的音符谱添加细节。为建模鼓音符，我们采用通过矢量量化变分自编码器（VQ-VAE）的离散潜表示法，因为鼓音符具有离散属性，不同于力度与微时序值。我们表明，二步法及离散编码空间的使用改进了对原始数据分布的学习。此外，我们讨论了将控制元素——流派、力度与微时序模式——纳入模型的益处。
引用
@article{arxiv.2107.05009,
title = {PocketVAE: A Two-step Model for Groove Generation and Control},
author = {Kyungyun Lee and Wonil Kim and Juhan Nam},
journal= {arXiv preprint arXiv:2107.05009},
year = {2021}
}