ReasTAP：通过合成推理示例在预训练期间注入表格推理技能
计算与语言
2022-10-25 v1
摘要
对表格数据进行推理既需要理解表格结构，也需要广泛的表格推理技能。当前具有表格特定架构和预训练方法的模型在理解表格结构方面表现良好，但在需要各种表格推理技能的任务上仍举步维艰。在这项工作中，我们开发了 ReasTAP，以表明无需复杂的表格特定架构设计即可在预训练期间将高级表格推理技能注入模型。我们定义了 7 种表格推理技能，例如数值运算、时间比较和合取。每种推理技能关联一个示例生成器，该生成器根据采样的模板在半结构化表格上合成问题。我们将表格预训练任务建模为序列生成任务，并预训练 ReasTAP 以对合成示例生成精确答案。ReasTAP 在涵盖三个下游任务的四个基准上进行了评估，包括：1) 用于表格问答的 WikiSQL 和 WTQ；2) 用于表格事实验证的 TabFact；以及 3) 用于忠实表格到文本生成的 LogicNLG。实验结果表明，ReasTAP 在所有基准上均取得了新的最先进（state-of-the-art, SOTA）性能，并在低资源设定下实现了显著提升。我们的代码公开于 https://github.com/Yale-LILY/ReasTAP。
引用
@article{arxiv.2210.12374,
title = {ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples},
author = {Yilun Zhao and Linyong Nan and Zhenting Qi and Rui Zhang and Dragomir Radev},
journal= {arXiv preprint arXiv:2210.12374},
year = {2022}
}
备注
accepted by EMNLP 2022