MEGATRON-CNTRL：基于大规模语言模型与外部知识的可控故事生成
计算与语言
2020-10-05 v1
摘要
现有的预训练大规模语言模型展现出无与伦比的生成能力。然而，它们不可控。本文提出 MEGATRON-CNTRL，一种利用大规模语言模型并通过引入外部知识库为文本生成添加控制的新框架。我们的框架由关键词预测器、知识检索器、上下文知识排序器和条件文本生成器组成。由于无法获得知识排序器的真实监督，我们利用句子嵌入的弱监督。实证结果表明，在 ROC 故事数据集上，与先前工作相比，我们的模型生成的故事更流畅、一致、连贯，重复更少且多样性更高。我们通过替换用于生成故事的关键词并重新运行生成过程来展示模型的可控性。人工评估结果显示，这些故事中有 77.5% 成功受新关键词控制。此外，通过将模型规模从 1.24 亿参数扩展到 83 亿参数，我们证明了更大的模型同时提升了生成质量（一致性从 74.5% 提升至 93.0%）与可控性（从 77.5% 提升至 91.5%）。
引用
@article{arxiv.2010.00840,
title = {MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models},
author = {Peng Xu and Mostofa Patwary and Mohammad Shoeybi and Raul Puri and Pascale Fung and Anima Anandkumar and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2010.00840},
year = {2020}
}
备注
Accepted in EMNLP 2020 main conference