无监督的旋律引导歌词生成

自动写歌是一个具有重要实践意义的课题。然而，其研究很大程度上受限于因版权问题导致的训练数据匮乏，并受其创造性本质的挑战。最值得注意的是，由于并行数据有限，先前工作往往难以建模旋律与歌词之间的跨模态关联，从而生成传唱性较差的歌词。现有工作也缺乏有效的内容控制机制，而这一特性对于让音乐背景有限的人也能进行歌曲创作至关重要。在本工作中，我们提出在不使用旋律-歌词对齐数据训练的情况下生成悦耳动听的歌词。相反，我们设计了一个分层歌词生成框架，将训练（纯粹基于文本）与推理（旋律引导的文本生成）解耦。在推理时，我们利用旋律与歌词之间的关键对齐，并将给定旋律编译为约束以引导生成过程。评估结果表明，我们的模型能生成比包括那些在并行数据上监督训练的强基线更高质量、更具传唱性、可理解性、连贯性且押韵的歌词。