ASPIRO: 面向一致数据到文本生成的任意样本结构化解析错误诱导重提示方法
计算与语言
2023-10-30 v1 人工智能
机器学习
摘要
我们提出ASPIRO,一种在零到少样本设置下将结构化数据表述为短模板句子的方案。与以往方法不同,我们的方法提示大语言模型(LLMs)直接生成实体无关的模板,而非依赖LLM忠实复制给定示例实体,或手动验证/制作模板。我们结合了由算法解析检查触发的LLM重提示,以及PARENT指标诱导的一致性验证,以实时识别并纠正模板生成问题。与直接LLM输出相比,ASPIRO在DART数据集的RDF三元组生成表述中将解析错误率平均降低66%。我们在Rel2Text数据集上最佳的5样本text-davinci-003设置取得BLEU 50.62、METEOR 45.16、BLEURT 0.82、NUBIA 0.87及PARENT 0.8962,有效媲美近期微调预训练语言模型。
引用
@article{arxiv.2310.17877,
title = {ASPIRO: Any-shot Structured Parsing-error-Induced ReprOmpting for Consistent Data-to-Text Generation},
author = {Martin Vejvar and Yasutaka Fujimoto},
journal= {arXiv preprint arXiv:2310.17877},
year = {2023}
}
备注
Accepted to Findings of EMNLP2023, code available at https://github.com/vejvarm/ASPIRO