基于知识锚定预训练的数据到文本生成
泛函分析
2020-10-07 v1 偏微分方程分析
摘要
数据到文本生成因其广泛应用近来引起了大量关注。现有方法在一系列任务上展现出令人印象深刻的性能。然而，它们依赖于每个任务的大量标注数据，获取成本高昂，从而限制了其向新任务和领域的应用。本文提出利用预训练与迁移学习来解决该问题。我们提出知识锚定预训练（KGPT），其包含两部分：1）一个生成知识增强文本的通用的知识锚定生成模型；2）在从网络爬取的大规模知识锚定文本语料上的预训练范式。该预训练模型可在各种数据到文本生成任务上微调以生成特定任务的文本。我们采用全监督、零样本、少样本三种设定来评估其有效性。在全监督设定下，我们的模型相较已知基线取得显著增益。在零样本设定下，我们的模型在未见任何样例的情况下于 WebNLG 上取得超过 30 的 ROUGE-L，而其他所有基线均失败。在少样本设定下，我们的模型仅需约十五分之一的标注样例即可达到与基线模型相同的性能水平。这些实验一致证明了我们所提框架的强泛化能力 https://github.com/wenhuchen/KGPT。
引用
@article{arxiv.2010.02306,
title = {On generalized divergence and Laplace operators as a matter of division of distributions},
author = {Hugo Aimar and Ivana Gómez},
journal= {arXiv preprint arXiv:2010.02306},
year = {2020}
}
备注
31 pages