T2R-bench：用于从实际工业表格生成文章级报告的基准
计算与语言
2025-09-24 v4
摘要
针对大语言模型(LLMs)在表格推理方面的能力进行了大量研究，但将表格信息转化为报告的关键任务在工业应用中仍是一个重大挑战。这一任务受到两个关键问题的困扰：1)表格的复杂性和多样性导致推理结果不理想；2)现有表格基准缺乏评估该任务实际应用能力的能力。为填补这一空白，我们提出了表格到报告(task)并构建了一个双语基准，称为T2R-bench，其中关键信息从表格流向报告。该基准包含457个工业表格，全部来自真实场景，涵盖19个行业领域和4种工业表格类型。此外，我们提出了公正衡量报告生成质量的评估标准。对25个广泛使用的LLMs进行实验显示，即使是最先进的模型如Deepseek-R1也仅实现了62.71分的整体得分，表明在T2R-bench上，LLMs仍有提升空间。
引用
@article{arxiv.2508.19813,
title = {T2R-bench: A Benchmark for Generating Article-Level Reports from Real World Industrial Tables},
author = {Jie Zhang and Changzai Pan and Kaiwen Wei and Sishi Xiong and Yu Zhao and Xiangyu Li and Jiaxin Peng and Xiaoyan Gu and Jian Yang and Wenhan Chang and Zhenhe Wu and Jiang Zhong and Shuangyong Song and Yongxiang Li and Xuelong Li},
journal= {arXiv preprint arXiv:2508.19813},
year = {2025}
}