基于离散值对抗训练的从歌词到旋律的可解释生成
声音
2022-07-06 v1 音频与语音处理
摘要
从歌词生成旋律是人工智能与音乐领域中一个有趣而富有挑战性的任务。然而，保持输入歌词与生成旋律之间一致性的困难限制了以往工作的生成质量。在我们的方案中，我们展示了所提出的可解释歌词到旋律生成系统，该系统可与用户交互以理解生成过程并重新创作期望的歌曲。为提高与歌词匹配的旋律生成的可靠性，利用互信息来加强歌词与生成旋律之间的一致性。利用Gumbel-Softmax解决由生成对抗网络（GANs）生成离散音乐属性的不可微问题。此外，利用生成器输出的预测概率来推荐音乐属性。通过与我们的歌词到旋律生成系统交互，用户可以聆听生成的AI歌曲，并通过从推荐的音乐属性中选择来重新创作新歌。
引用
@article{arxiv.2206.15027,
title = {Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training},
author = {Wei Duan and Zhe Zhang and Yi Yu and Keizo Oyama},
journal= {arXiv preprint arXiv:2206.15027},
year = {2022}
}
备注
3 pages, 3 figures