基于变分自编码器与多模态艺术家嵌入的歌词生成
计算与语言
2018-12-21 v1 声音
音频与语音处理
摘要
我们提出了一个以指定艺术家的风格为条件生成歌词行的系统。该系统使用带有艺术家嵌入的变分自编码器。我们提出利用 CNN 分类器学习到的表示来预训练艺术家嵌入，该分类器基于歌曲片段的 MEL 频谱图训练以预测艺术家。本工作是结合歌曲的音频与文本模态以生成基于艺术家风格的歌词的第一步。我们的初步结果表明，用频谱图分类器学习到的表示来初始化艺术家嵌入是有益的。
引用
@article{arxiv.1812.08318,
title = {Generating lyrics with variational autoencoder and multi-modal artist embeddings},
author = {Olga Vechtomova and Hareesh Bahuleyan and Amirpasha Ghabussi and Vineet John},
journal= {arXiv preprint arXiv:1812.08318},
year = {2018}
}
备注
5 pages, 5 tables, 1 figure