SongComposer：用于歌曲创作中歌词与旋律生成的一个大语言模型
声音
2025-06-03 v2 人工智能
计算与语言
音频与语音处理
摘要
以符号格式为人声轨道创作歌词和旋律（即歌曲创作）需要专业的旋律音乐知识、对歌词的高级理解以及两者之间的精确对齐。尽管在歌词生成、歌词转旋律和旋律转歌词等子任务上取得了成就，但尚未实现用于歌曲创作的统一模型。在本文中，我们介绍了 SongComposer，这是迈向统一歌曲创作模型的开创性一步，该模型能够根据指令轻松创作符号化的歌词和旋律。SongComposer 是一个音乐专用的大语言模型（LLM），首次通过利用三项关键创新将同时创作歌词和旋律的能力集成到 LLM 中：1) 用于歌词和旋律词级对齐的灵活元组格式；2) 针对歌曲音符扩展的分词器词汇表，并基于音乐知识进行标量初始化以捕捉节奏；3) 捕捉音乐结构的多阶段流水线，从动机级旋律模式开始，进展到乐句级结构以提高连贯性。大量实验表明，SongComposer 在歌词转旋律生成、旋律转歌词生成、歌曲续写和文本转歌曲创作等任务上优于包括 GPT-4 在内的先进 LLM。此外，我们将发布 SongCompose，一个用于训练的大规模数据集，包含中文和英文的配对歌词和旋律。
引用
@article{arxiv.2402.17645,
title = {SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition},
author = {Shuangrui Ding and Zihan Liu and Xiaoyi Dong and Pan Zhang and Rui Qian and Junhao Huang and Conghui He and Dahua Lin and Jiaqi Wang},
journal= {arXiv preprint arXiv:2402.17645},
year = {2025}
}
备注
ACL 2025 main. project page: https://pjlab-songcomposer.github.io/ code: https://github.com/pjlab-songcomposer/songcomposer