从歌词建模节奏用于流行歌曲旋律生成
音频与语音处理
2023-01-05 v1 声音
摘要
根据预先写好的歌词创作流行歌曲旋律是作曲家的典型做法。关于歌词如何被谱成旋律的计算模型对自动作曲系统十分重要,但端到端的歌词到旋律模型需要海量配对训练数据。为缓解数据限制,我们采用两阶段方法,将任务划分为歌词到节奏和节奏到旋律模块。然而,歌词到节奏任务因其多模态性仍具挑战。本文提出一种新颖的歌词到节奏框架,包含词性标签以实现更好的文本配曲,以及一种旨在建模长期音节到音符关联的 Transformer 架构。对于节奏到旋律任务,我们采用一种已验证的、达到最优性能的弦条件旋律 Transformer。针对中文歌词到旋律生成的实验表明,所提框架能够建模数据集中节奏与音高分布的关键特征,且在主观评价中,我们系统生成的旋律被评为与最优替代方案相似或更好。
引用
@article{arxiv.2301.01361,
title = {Modeling the Rhythm from Lyrics for Melody Generation of Pop Song},
author = {Daiyu Zhang and Ju-Chiang Wang and Katerina Kosta and Jordan B. L. Smith and Shicen Zhou},
journal= {arXiv preprint arXiv:2301.01361},
year = {2023}
}
备注
Published in ISMIR 2022