PLOG：面向逻辑表格到文本生成的表格到逻辑预训练
计算与语言
2022-10-27 v2
摘要
逻辑表格到文本生成是一项从表格生成逻辑忠实句子的任务，要求模型通过逻辑推断从表格记录推导逻辑级事实。它对表格到文本模型的逻辑级内容规划提出了新挑战。然而，由于自然语言的歧义性和平行数据的稀缺性，神经模型直接从表文对学习逻辑推断知识非常困难。因此，即使是大规模预训练语言模型在逻辑表格到文本上也表现出较低的逻辑保真度。在本工作中，我们提出PLOG（Pretrained Logical Form Generator，预训练逻辑形式生成器）框架以提升生成保真度。具体而言，PLOG先在表格到逻辑形式生成（table-to-logic）任务上预训练，再在下游表格到文本任务上微调。逻辑形式的正式定义使我们无需人工标注即可从表格收集大量准确逻辑形式。此外，PLOG从表-逻辑对学习逻辑推断比从表-文对明确得多。为评估模型，我们基于现有数据集进一步收集了受控逻辑表格到文本数据集CONTLOG。在两个基准LOGICNLG和CONTLOG上，PLOG在逻辑保真度上大幅优于强基线，证明了表格到逻辑预训练的有效性。
引用
@article{arxiv.2205.12697,
title = {PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation},
author = {Ao Liu and Haoyu Dong and Naoaki Okazaki and Shi Han and Dongmei Zhang},
journal= {arXiv preprint arXiv:2205.12697},
year = {2022}
}
备注
EMNLP'22