面向表-文混合数值推理的以完整解题程序为中心的预训练
计算与语言
2023-05-15 v1
摘要
对表与文本混合段落（如财务报告）的数值推理具有重大挑战与众多潜在应用。模型输入中的噪声与无关变量一直阻碍其性能。此外，对整个解题程序的粗粒度监督妨碍了模型学习底层数值推理过程。本文提出三个在整体程序与子程序层面运作的预训练任务：变量完整性排序，引导模型关注有用变量；变量算子预测，将监督分解为细粒度的单算子预测；变量关键短语掩码，鼓励模型识别子程序所源自的关键证据。实验结果证明了我们所提方法的有效性，超越了基于 transformer 的模型基线。
引用
@article{arxiv.2305.07475,
title = {Comprehensive Solution Program Centric Pretraining for Table-and-Text Hybrid Numerical Reasoning},
author = {Qianying Liu and Dongsheng Yang and Wenjie Zhong and Fei Cheng and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2305.07475},
year = {2023}
}
备注
11 pages