面向自然语言生成的无监督预训练：文献综述
计算与语言
2019-11-15 v1
摘要
近年来，无监督预训练在计算语言学领域日益受到关注，这得益于其在推进自然语言理解（NLU）方面的惊人成功以及有效利用大规模无标注语料的潜力。然而，尽管在 NLU 中取得了成功，无监督预训练在自然语言生成（NLG）方面的能力仅被部分挖掘。主要障碍源于 NLG 的一个特有性质：文本通常基于特定上下文生成，而上下文可能随目标应用而变化。因此，难以像 NLU 场景那样设计通用的预训练架构。此外，在目标任务学习时保留从预训练中学到的知识也是一个重要问题。本综述总结了近期利用无监督预训练增强 NLG 系统的工作，特别关注促进预训练模型融入下游任务的方法。根据处理上述障碍的方式，这些方法被分为基于架构的方法和基于策略的方法。文中还进行了讨论，以深入剖析这两类工作之间的关系、一些有信息量的经验现象，以及未来工作可能投入的一些方向。
引用
@article{arxiv.1911.06171,
title = {Unsupervised Pre-training for Natural Language Generation: A Literature Review},
author = {Yuanxin Liu and Zheng Lin},
journal= {arXiv preprint arXiv:1911.06171},
year = {2019}
}
备注
10 pages