MiMoTable：面向表格推理的多尺度电子表格基准与元操作
计算与语言
2024-12-25 v2
摘要
大量研究探索了大语言模型(LLM)的表格推理能力，并在现有基准上显著提升了性能。然而，实际应用中的表格和用户问题更加复杂多样，与现有基准存在不可忽视的差距。为填补这一差距，我们提出一个多尺度电子表格基准MiMoTable，包含元操作。具体地，MiMoTable包含两个关键特征。首先，MiMoTable中的表格都是实际场景中使用的电子表格，涵盖七个领域并包含不同类型。其次，我们定义了一个包含六类元操作的新标准，用于衡量MiMoTable中每个问题的难度，同时作为衡量现有基准难度的新视角。实验结果表明，Claude-3.5-Sonnet以77.4%的准确率取得最佳性能，表明LLM在MiMoTable上仍有显著提升空间。此外，我们根据新标准对现有基准进行难度分级。实验表明，LLM的性能随基准难度增加而下降，从而证明了我们提出的新标准的有效性。
引用
@article{arxiv.2412.11711,
title = {MiMoTable: A Multi-scale Spreadsheet Benchmark with Meta Operations for Table Reasoning},
author = {Zheng Li and Yang Du and Mao Zheng and Mingyang Song},
journal= {arXiv preprint arXiv:2412.11711},
year = {2024}
}
备注
Accepted by COLING 2025