TeleMelody：基于模板的两阶段歌词到旋律生成方法
声音
2022-11-15 v2 人工智能
计算与语言
多媒体
音频与语音处理
摘要
歌词到旋律生成是自动作曲中的一项重要任务。以往的歌词到旋律生成系统通常采用端到端模型直接从歌词生成旋律，存在若干问题：1) 缺乏成对的歌词-旋律训练数据；2) 对生成旋律缺乏控制。本文中，我们开发了 TeleMelody，一种带音乐模板(如调性、和弦进行、节奏型与终止式)的两阶段歌词到旋律生成系统，以弥合歌词与旋律间的鸿沟(即系统由歌词到模板模块和模板到旋律模块组成)。TeleMelody 具有两点优势。首先，它数据高效。模板到旋律模块以自监督方式训练(即源模板从目标旋律中提取)，无需任何歌词-旋律成对数据。歌词到模板模块由若干规则与一个歌词到节奏模型组成，该模型用成对的歌词-节奏数据训练，比成对歌词-旋律数据更易获取。其次，它可控。模板的设计确保可通过调整模板中的音乐元素来控制生成的旋律。主观与客观实验评估均表明，相较以往生成系统，TeleMelody 生成的旋律质量更高、可控性更好，且对成对歌词-旋律数据需求更少。
引用
@article{arxiv.2109.09617,
title = {TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method},
author = {Zeqian Ju and Peiling Lu and Xu Tan and Rui Wang and Chen Zhang and Songruoyao Wu and Kejun Zhang and Xiangyang Li and Tao Qin and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2109.09617},
year = {2022}
}