基于质量感知掩码语言模型的中文诗歌生成迭代润色框架
计算与语言
2019-12-02 v1 人工智能
摘要
由于其独特的文学与审美特征，中文诗歌的自动生成在人工智能中仍具挑战性，难以通过端到端方法直接实现。本文提出一种用于高质量中文诗歌生成的新型迭代润色框架。在第一阶段，利用编码器-解码器结构生成诗歌草稿。随后，采用我们提出的质量感知掩码语言模型（QAMLM）从语言性与文学性方面对草稿进行润色以提升质量。基于多任务学习方案，QA-MLM能够依据诗歌草稿判断是否需要进行润色。此外，QAMLM能够定位诗歌草稿中不恰当的字符并相应地替换为新预测的字符。得益于掩码语言模型结构，QAMLM将全局上下文信息纳入润色过程，可获得比单向序列解码更恰当的润色结果。并且，当QA-MLM认为处理后的诗歌已合格时，迭代润色过程将自动终止。我们进行了人工与自动评估，结果表明该方法能有效提升编码器-解码器结构的性能。
关键词
引用
@article{arxiv.1911.13182,
title = {An Iterative Polishing Framework based on Quality Aware Masked Language Model for Chinese Poetry Generation},
author = {Liming Deng and Jie Wang and Hangming Liang and Hui Chen and Zhiqiang Xie and Bojin Zhuang and Shaojun Wang and Jing Xiao},
journal= {arXiv preprint arXiv:1911.13182},
year = {2019}
}
备注
accepted by AAAI-2020