基于层次化音乐结构表示的可控深度旋律生成
声音
2021-09-03 v1 人工智能
音频与语音处理
摘要
深度学习的近期进展拓展了音乐生成的可能，但生成具有一致长期结构的可定制完整乐曲仍是挑战。本文提出MusicFrameworks，一种层次化音乐结构表示与多步生成流程，可在长期重复结构、和弦、旋律轮廓与节奏约束引导下创作完整旋律。我们首先以乐段与乐句级结构组织整段旋律。为生成各乐句内旋律，我们使用两个独立的基于transformer的网络生成节奏与基础旋律，再以自回归方式基于基础旋律、节奏与和弦生成旋律。通过将音乐生成分解为子问题，我们的方法可使用更简单的模型且所需数据更少。为定制或增添变化，可改动音乐框架中的和弦、基础旋律与节奏结构，由我们的网络相应生成旋律。此外，我们基于音乐领域知识引入了编码音乐位置信息、节奏模式与旋律轮廓的新特征。听感测试显示，我们的方法生成的旋律约一半情况下被评为与POP909数据集中人类创作的乐曲相当或更好。
引用
@article{arxiv.2109.00663,
title = {Controllable deep melody generation via hierarchical music structure representation},
author = {Shuqi Dai and Zeyu Jin and Celso Gomes and Roger B. Dannenberg},
journal= {arXiv preprint arXiv:2109.00663},
year = {2021}
}
备注
6 pages, 9 figures, in Proc. of the 22nd Int. Society for Music Information Retrieval Conf.,Online, 2021