ArxivDIGESTables：利用语言模型将科学文献综合为表格

在进行文献综述时，科学家们通常会创建文献综述表格——其行代表出版物，列构成一个模式，即用于比较和对比论文的一组方面。我们能否使用语言模型自动生成这些表格？在这项工作中，我们引入了一个框架，通过将任务分解为独立的模式生成和值生成步骤，利用语言模型来执行此任务。为了实现实验，我们解决了两个主要挑战：首先，我们通过整理并发布 arxivDIGESTables 来克服缺乏高质量数据集以基准测试表格生成的问题，这是一个包含从 ArXiv 论文中提取的 2,228 个文献综述表格的新数据集，这些表格综合了总计 7,542 篇研究论文。其次，为了支持对模型生成结果与人工撰写的参考表格进行可扩展评估，我们开发了 DecontextEval，一种自动评估方法，该方法能够对齐表格中具有相同底层方面但表面形式不同的元素。借助这些工具，我们评估了语言模型重建参考表格的能力，发现该任务受益于额外的上下文来为生成提供依据（例如表格标题、文内引用）。最后，通过一项人工评估研究，我们发现即使语言模型未能完全重建参考表格，它们生成的新颖方面仍然可能有用。