CoReTab：通过代码驱动的推理改进多模态表格理解
人工智能
2026-01-28 v1
摘要
现有的多模态表格理解数据集，如MMTab，主要提供简短的事实性答案，缺乏明确的多步推理监督。在这些数据集上训练的模型通常生成简短的回应，其准确性不足，且对模型如何得出最终答案的可解释性有限。我们引入了CoReTab，这是一个代码驱动的推理框架，通过将多步推理与可执行的Python代码相结合，生成可扩展、可解释且可自动验证的标注。利用CoReTab框架，我们整理了一个包含11.5万个已验证样本的数据集，平均每个回应529个token，并通过三阶段流水线对开源多模态大语言模型进行微调。我们在涵盖表格问答、事实验证和表格结构理解的17个MMTab基准上评估了基于CoReTab训练的模型。与基于MMTab训练的基线模型相比，我们的模型在这些任务上分别取得了+6.2%、+5.7%和+25.6%的显著提升，同时生成了透明且可验证的推理轨迹。这些结果确立了CoReTab作为一个鲁棒且可泛化的监督框架，用于改进多模态表格理解中的多步推理。
引用
@article{arxiv.2601.19193,
title = {CoReTab: Improving Multimodal Table Understanding with Code-driven Reasoning},
author = {Van-Quang Nguyen and Takayuki Okatani},
journal= {arXiv preprint arXiv:2601.19193},
year = {2026}
}
备注
accepted to EACL'26 (main conference)