基于合成图生成式预训练的解释图生成
计算与语言
2023-06-02 v1 人工智能
摘要
解释图生成是一项重要任务，旨在针对用户输入生成解释图，揭示内部推理过程。由于非结构化用户查询与结构化解释图之间存在显著差距，该任务具有挑战性。当前研究通常在带有标注图的小规模下游数据集上微调基于文本的预训练语言模型。然而，由于可用数据集规模有限，该方法可能不足以弥合自然语言文本与结构化图之间的鸿沟。本文为缓解上述局限，提出一种新颖的预训练框架EG3P（基于合成图生成式预训练的解释图生成，Explanation Graph Generation via Generative Pre-training over synthetic graphs），用于解释图生成任务。具体而言，我们首先提出文本到图的生成式任务对模型进行预训练，以弥合文本-图鸿沟。此外，我们提出一种自动语料合成策略，用于合成大规模高质量语料，减少对昂贵人工标注方法的依赖。在ExplaGraphs上的实验结果表明了EG3P的有效性，我们的模型以显著优势超越所有基线系统。此外，进一步分析表明EG3P能够在CommonsenseQA和OpenbookQA等实际推理任务上生成更好的解释图。
引用
@article{arxiv.2306.00652,
title = {Explanation Graph Generation via Generative Pre-training over Synthetic Graphs},
author = {Han Cui and Shangzhan Li and Yu Zhang and Qi Shi},
journal= {arXiv preprint arXiv:2306.00652},
year = {2023}
}
备注
Accepted by ACL23-Findings