DocTabQA：利用表格从长文档中回答问题
计算与语言
2024-08-22 v1
摘要
我们研究了一种新的问答（QA）问题设定，称为 DocTabQA。在该设定中，给定一篇长文档，目标是通过组织答案来回答问题，这些答案直接从文档内容中导出为结构化表格。与主要依赖非结构化文本来构建回答的传统 QA 方法不同，DocTabQA 旨在利用结构化表格作为答案，以清晰、系统地传达信息，从而增强用户理解并突出数据点之间的关系。据我们所知，这一问题此前尚未被探索。在本文中，我们引入了 QTabA 数据集，涵盖 300 份金融文档，并附有手动标注的 1.5k 问答-表格对。最初，我们利用大语言模型（LLM）如 GPT-4 建立基线。然而，众所周知，LLM 在处理长输入序列以生成复杂结构化输出时存在困难。为克服这些挑战，我们提出了一个两阶段框架 DocTabTalk，它首先从广泛文档中检索相关句子，然后基于这些识别出的句子生成层次化表格。DocTabTalk 包含两项关键技术革新：AlignLLaMA 和 TabTalk，它们专门针对 GPT-4 解决 DocTabQA 任务进行了定制，使其能够生成组织良好、层次清晰的表格。在 QTabA 和 RotoWire 数据集上进行的全面实验评估表明，我们提出的 DocTabTalk 显著提升了 GPT-4 在 DocTabQA 任务和表格生成任务上的表现。代码和数据集可在 https://github.com/SmileWHC/DocTabQA 获取，以供进一步研究。
引用
@article{arxiv.2408.11490,
title = {DocTabQA: Answering Questions from Long Documents Using Tables},
author = {Haochen Wang and Kai Hu and Haoyu Dong and Liangcai Gao},
journal= {arXiv preprint arXiv:2408.11490},
year = {2024}
}
备注
18 pages,5 figures