嵌套文本的对抗式生成与编码
计算与语言
2019-06-04 v1
摘要
本文提出一种称为 AGENT 的新语言模型，其全称为 Adversarial Generation and Encoding of Nested Texts（嵌套文本的对抗式生成与编码）。AGENT 旨在对由长篇连贯文本（如整本书）构成且经过层次化标注（嵌套）的文档进行编码、生成与精炼，即划分为句子、段落和章节。我们系统的核心思想是为文本层次的每一级（句子、段落等）学习向量表示，并训练每个此类表示以执行三项任务：从用于创建该表示的较低层级重建向量序列的任务，以及来自 BERT（Devlin 等 [2018]）的掩码语言建模（MLM）与“下一句预测”任务的泛化版本。此外，我们提出了一种用于长文本生成的新型对抗模型，并给出了通过遍历其向量表示树来提升生成文本连贯性的方法。
引用
@article{arxiv.1906.00238,
title = {Adversarial Generation and Encoding of Nested Texts},
author = {Alon Rozental},
journal= {arXiv preprint arXiv:1906.00238},
year = {2019}
}