思考表格：通过神经符号推理提升多模态表格理解
计算与语言
2026-03-26 v1
摘要
多模态大语言模型 (MLLM) 在图像和文本等模态之间展现出惊人的推理能力。然而，尽管表格数据是关键现实世界模态，仍在多模态学习中相对不被探索。本文聚焦于 Tabular-Vision Multi-Modal Understanding (TVMU) 任务，识别出三个核心挑战：(1) 表格中高结构变异性和数据不完整性，(2) 隐式且复杂的特征依赖关系，(3) 下游任务中问题解决管道的显著异构性。为此，我们提出了思考表格 (TWT) 方法。TWT 采用程序辅助基于代码的神经符号推理机制，通过与外部环境交互来实现关键操作，如信息提取和元素建模。我们在八个代表性数据集上评估了 TWT。实验结果表明，TWT 在准确率上 consistently 超过现有基线方法，平均提升 10%，在 TVMU 任务方面实现与甚至超越专营商业 SOTA LLM 的性能。模型和代码已提供：https://github.com/kunyang-YU/Thinking-with-Tables
引用
@article{arxiv.2603.24004,
title = {Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning},
author = {Kun-Yang Yu and Zhi Zhou and Shi-Yu Tian and Xiao-Wen Yang and Zi-Yi Jia and Ming Yang and Zi-Jian Cheng and Lan-Zhe Guo and Yu-Feng Li},
journal= {arXiv preprint arXiv:2603.24004},
year = {2026}
}
备注
20 pages, 6 figures