MultiHiertt：面向多层级表格与文本数据的数值推理
人工智能
2022-06-06 v1 机器学习
摘要
对包含文本与表格内容（如财务报告）的混合数据进行数值推理，近来在 NLP 社区引起了广泛关注。然而，现有面向混合数据的问答（QA）基准在每个文档中仅包含单一扁平表格，因而缺乏跨多个层级表格进行多步数值推理的样例。为推动数据分析进展，我们构建了一个大规模新基准 MultiHiertt，包含针对多层级表格与文本数据（Multi Hierarchical Tabular and Textual data）的问答对。MultiHiertt 构建自大量财务报告，具有以下独特特征：1）每个文档包含多个表格及更长的非结构化文本；2）所包含的表格大多为层级结构；3）每个问题所需的推理过程比现有基准更复杂且更具挑战性；4）提供了推理过程与支持事实的细粒度标注以揭示复杂数值推理。我们进一步提出了一种称为 MT2Net 的新型 QA 模型，其首先应用事实检索从表格与文本中提取相关支持事实，随后使用推理模块对检索到的事实进行符号推理。我们在多种基线上进行了全面实验。实验结果表明，MultiHiertt 对现有基线构成了强劲挑战，其表现远落后于人类专家。数据集与代码已公开于 https://github.com/psunlpgroup/MultiHiertt。
引用
@article{arxiv.2206.01347,
title = {MultiHiertt: Numerical Reasoning over Multi Hierarchical Tabular and Textual Data},
author = {Yilun Zhao and Yunxiang Li and Chenying Li and Rui Zhang},
journal= {arXiv preprint arXiv:2206.01347},
year = {2022}
}