评估用于图到文本生成的生成模型
计算与语言
2023-07-28 v1 人工智能
摘要
大语言模型（LLMs）已被广泛用于图到文本生成任务。然而，微调 LLMs 的过程需要大量的训练资源和标注工作。在本文中，我们探索了生成模型在零样本设定下从图数据生成描述性文本的能力。具体而言，我们在两个图到文本数据集上评估 GPT-3 和 ChatGPT，并将其性能与 T5 和 BART 等微调后的 LLM 模型进行比较。我们的结果表明，生成模型能够生成流畅且连贯的文本，在 AGENDA 和 WebNLG 数据集上分别取得 10.57 和 11.08 的 BLEU 分数。然而，我们的错误分析揭示，生成模型仍难以理解实体之间的语义关系，并且倾向于生成带有幻觉或无关信息的文本。作为错误分析的一部分，我们利用 BERT 检测机器生成的文本并取得了较高的宏 F1 分数。我们已公开生成模型生成的文本。
引用
@article{arxiv.2307.14712,
title = {Evaluating Generative Models for Graph-to-Text Generation},
author = {Shuzhou Yuan and Michael Färber},
journal= {arXiv preprint arXiv:2307.14712},
year = {2023}
}
备注
Accepted as short paper in RANLP2023