WuYun：基于知识增强深度学习探索层次化骨架引导的旋律生成
声音
2023-03-15 v2 人机交互
机器学习
音频与语音处理
摘要
尽管深度学习已经彻底改变了音乐生成，但现有的结构化旋律生成方法遵循端到端、从左到右逐音符的生成范式，并将每个音符同等对待。在此，我们提出 WuYun，一种用于改善生成旋律结构的知识增强深度学习架构，它首先生成结构上最重要的音符以构建旋律骨架，随后用动态装饰音符填充骨架，形成完整的旋律。具体而言，我们利用音乐领域知识提取旋律骨架，并采用序列学习对其重构，将其作为额外知识为旋律生成过程提供辅助引导。我们证明 WuYun 能够生成具有更好长期结构与音乐性的旋律，并在所有主观评价指标上平均以 0.51 的优势优于其他最先进（state-of-the-art, SOTA）方法。我们的研究为设计旋律层次结构并弥合数据驱动与基于知识的方法在众多音乐生成任务间的鸿沟提供了多学科视角。
引用
@article{arxiv.2301.04488,
title = {WuYun: Exploring hierarchical skeleton-guided melody generation using knowledge-enhanced deep learning},
author = {Kejun Zhang and Xinda Wu and Tieyao Zhang and Zhijie Huang and Xu Tan and Qihao Liang and Songruoyao Wu and Lingyun Sun},
journal= {arXiv preprint arXiv:2301.04488},
year = {2023}
}