ReLyMe:通过融入歌词-旋律关系改进歌词到旋律的生成
声音
2022-07-13 v1 多媒体
音频与语音处理
摘要
歌词到旋律生成,即根据给定歌词生成旋律,是最重要的自动音乐创作任务之一。随着深度学习的快速发展,先前工作使用端到端神经网络模型处理该任务。然而,深度学习模型不能很好地捕捉歌词与旋律之间严格但微妙的关系,这损害了歌词与生成旋律之间的和谐。在本文中,我们提出ReLyMe,一种从音乐理论融入歌词与旋律之间关系(Relationships between Lyrics and Melodies)的方法,以确保歌词与旋律的和谐。具体而言,我们首先介绍歌词和旋律在音调、节奏和结构关系方面应遵循的几条原则。这些原则随后通过在解码过程中添加相应约束被整合进神经网络歌词到旋律模型,以改善歌词与旋律的和谐。我们使用一系列客观和主观指标评估生成的旋律。在英语和中文歌曲数据集上的实验显示了ReLyMe的有效性,证明了将音乐领域的歌词-旋律关系融入神经歌词到旋律生成中的优越性。
引用
@article{arxiv.2207.05688,
title = {ReLyMe: Improving Lyric-to-Melody Generation by Incorporating Lyric-Melody Relationships},
author = {Chen Zhang and Luchin Chang and Songruoyao Wu and Xu Tan and Tao Qin and Tie-Yan Liu and Kejun Zhang},
journal= {arXiv preprint arXiv:2207.05688},
year = {2022}
}
备注
Accepted by ACMMM 2022, oral