基于条件 LSTM-GAN 的从歌词生成旋律
人工智能
2021-04-22 v2 声音
音频与语音处理
摘要
从歌词生成旋律是人工智能与音乐领域一项具有挑战性的研究课题，其能够学习并发现有趣歌词与伴随旋律之间的潜在关系。遗憾的是，带有对齐信息的歌词-旋律配对数据集的有限可用性阻碍了研究进展。为解决这个问题，我们通过利用不同音乐来源创建了一个大型数据集，包含 12,197 首 MIDI 歌曲，每首均带有配对歌词与旋律对齐信息，其中提取了音节与音乐属性之间的对齐关系。最重要的是，我们提出了一种新颖的深度生成模型——用于从歌词生成旋律的条件长短期记忆-生成对抗网络(conditional Long Short-Term Memory - Generative Adversarial Network, LSTM-GAN)，其包含一个以歌词为条件的深度 LSTM 生成器和一个同样以歌词为条件的深度 LSTM 判别器。特别地，给定歌词的音节与预测旋律音符之间的歌词条件旋律及对齐关系被同时生成。实验结果证明了我们提出的歌词到旋律生成模型的有效性，从中可推断出合理且悦耳的序列。
引用
@article{arxiv.1908.05551,
title = {Conditional LSTM-GAN for Melody Generation from Lyrics},
author = {Yi Yu and Abhishek Srivastava and Simon Canales},
journal= {arXiv preprint arXiv:1908.05551},
year = {2021}
}