面向中文歌词的主题感知生成模型
计算与语言
2019-06-06 v1 机器学习
摘要
随着神经网络的快速发展，深度学习已扩展到诸多自然语言生成领域，如机器翻译、对话生成乃至文学创作。本文提出一种面向中文音乐歌词的主题感知语言生成模型，显著提升了生成段落的主题连贯性与一致性。一个多通道序列到序列（seq2seq）模型将主题与前文句子分别编码为全局与局部上下文信息。此外，解码过程引入了注意力机制，从而将上下文融合进预测的后续文本。为构建合适的训练语料，应用 LDA（隐狄利克雷分配）进行主题抽取。所生成歌词在语法上正确且与所选主题语义连贯，这为多轮聊天机器人与长段落生成等其他领域提供了一种有价值的建模方法。
引用
@article{arxiv.1906.02134,
title = {Theme-aware generation model for chinese lyrics},
author = {Jie Wang and Xinyan Zhao},
journal= {arXiv preprint arXiv:1906.02134},
year = {2019}
}