主题保持的合成新闻生成：一种对抗式深度强化学习方法
计算与语言
2020-11-02 v1 机器学习
摘要
如今，存在诸如 OpenAI 的 GPT-2 等强大的语言模型，能够生成可读文本，并可微调以生成特定领域的文本。就 GPT-2 而言，它无法直接根据给定的主题生成合成新闻，且语言模型的输出无法被显式控制。在本文中，我们研究主题保持的合成新闻生成这一新问题。我们提出一种基于深度强化学习的新方法来控制 GPT-2 在给定新闻主题下的输出。当使用 GPT-2 生成文本时，默认从词表中选取概率最高的词。我们提出的 RL 智能体并非每次都从 GPT-2 的输出中选择最优词，而是尝试选择能优化给定主题匹配度的词。此外，使用一个假新闻检测器作为对抗方，我们探究利用所提方法生成逼真新闻。在本文中，我们将逼真新闻定义为无法被假新闻分类器轻易检测出的新闻。实验结果表明，所提框架在生成主题保持的新闻内容方面优于最先进的基线方法。
引用
@article{arxiv.2010.16324,
title = {Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach},
author = {Ahmadreza Mosallanezhad and Kai Shu and Huan Liu},
journal= {arXiv preprint arXiv:2010.16324},
year = {2020}
}
备注
10 pages, under review