ASDOT：基于预训练语言模型的任意样本数据到文本生成
计算与语言
2023-05-24 v3 人工智能
机器学习
摘要
数据到文本生成具有挑战性，因为输入数据在领域（例如金融与体育）或模式（例如不同的谓词）方面差异很大。因此，最近的端到端神经方法需要大量训练样本来学习消除数据歧义并对其进行描述。然而，现实世界的数据到文本问题常常面临各种数据稀缺问题：人们可能只能访问少量或没有训练样本，和/或必须依赖不同领域或模式中的样本。为填补这一空白，我们提出任意样本数据到文本生成(ASDOT)，一种通过高效利用任意给定（或没有）样本而灵活适用于多种设置的新方法。ASDOT由数据消歧和句子融合两步组成，这两步都可使用现成的预训练语言模型(LM)并可选微调来解决。在数据消歧阶段，我们采用提示的GPT-3模型来理解输入数据中可能含歧义的三元组，并将每个转换为歧义减少的短句。句子融合阶段随后使用如T5的LM将所有得到的句子融合为连贯段落作为最终描述。我们在不同场景下的多个数据集上进行了广泛评估，包括零样本/少样本/全样本设置，以及对未见谓词和域外数据的泛化。实验结果表明，ASDOT持续显著优于基线，例如在零样本设置下DART数据集上获得30.81的BLEU提升。
引用
@article{arxiv.2210.04325,
title = {ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models},
author = {Jiannan Xiang and Zhengzhong Liu and Yucheng Zhou and Eric P. Xing and Zhiting Hu},
journal= {arXiv preprint arXiv:2210.04325},
year = {2023}
}
备注
Findings of EMNLP 2022