REFFLY：旋律约束的歌词编辑模型
计算与语言
2025-05-05 v2 声音
音频与语音处理
摘要
自动旋律到歌词 (M2L) 生成旨在创建与给定旋律对齐的歌词。虽然大多数先前的方法是从零开始生成歌词，但修订，即编辑纯文本草稿使其适应旋律，提供了一种更灵活、更实用的替代方案。这使得广泛的应用成为可能，例如从灵活的输入（关键词、主题或需要精炼以可演唱的全文）生成歌词、歌曲翻译（在保持旋律完整的同时跨语言保留意义）或风格迁移（使歌词适应不同流派）。本文介绍了 REFFLY (REvision Framework For LYrics)，这是第一个用于编辑和生成旋律对齐歌词的修订框架。我们使用我们精心构建的合成旋律对齐歌词数据集训练歌词修订模块，使其能够将纯文本转换为与给定旋律对齐的歌词。为了进一步增强修订能力，我们提出了免训练启发式方法，旨在整个编辑过程中保留语义意义和音乐一致性。实验结果证明了 REFFLY 在各种任务（例如歌词生成、歌曲翻译）中的有效性，表明我们的模型在音乐性和文本质量方面均优于强基线，包括 Lyra (Tian et al., 2023) 和 GPT-4，性能提升 25%。
引用
@article{arxiv.2409.00292,
title = {REFFLY: Melody-Constrained Lyrics Editing Model},
author = {Songyan Zhao and Bingxuan Li and Yufei Tian and Nanyun Peng},
journal= {arXiv preprint arXiv:2409.00292},
year = {2025}
}