Doc2SoarGraph：基于语义导向层次图对视觉丰富表文文档进行离散推理
计算与语言
2024-02-23 v3 人工智能
摘要
对表文文档（如财务报告）的离散推理在近两年来受到越来越多的关注。现有工作大多通过将文档页面手动选取并转换为结构化表格与段落来简化这一挑战，阻碍了其实际应用。本工作中，我们探索了 TAT-DQA 形式下更现实的问题设定，即 over 视觉丰富表文文档回答问题。具体而言，我们提出了一种新颖的 Doc2SoarGraph 框架，通过利用给定问题与文档不同元素（如数量、日期）间差异与关联，并借助语义导向层次图结构，增强离散推理能力。我们在 TAT-DQA 数据集上进行了广泛实验，结果表明所提框架在测试集上相较最佳基线模型在精确匹配（EM）与 F1 分数上分别高出 17.73% 与 16.91%，达到了新的最优性能（state-of-the-art）。
引用
@article{arxiv.2305.01938,
title = {Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text Documents via Semantic-Oriented Hierarchical Graphs},
author = {Fengbin Zhu and Chao Wang and Fuli Feng and Zifeng Ren and Moxin Li and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.01938},
year = {2024}
}
备注
Accepted by COLING 2024