基于 VLLMs 的复杂表格层次结构理解：基准数据集与实验
计算与语言
2025-11-12 v1
摘要
本工作探讨了视觉大语言模型（VLLMs）理解和解释科学文章中表格结构的能力。具体而言，我们研究了 VLLMs 是否能够在无需额外处理的情况下推断表格的层次结构。为开展实验，我们采用 PubTables-1M 数据集，这是一个大规模的科学表格语料库。从该数据集中提取包含层次标题的表格子集，命名为复杂层次表格（Complex Hierarchical Tables, CHiTab）：一套包含复杂表格的数据集。我们采用一系列提示工程策略来探测模型的理解能力，实验不同的提示格式和写作风格。首先使用其即插即用版本对多个最先进的开源权重 VLLMs 在数据集上进行评估，然后对一些模型在我们的任务上进行微调。我们还测量了人类在小规模表格上解决该任务的性能，以便与评估的 VLLMs 进行比较。实验支持我们对 VLLMs 能够完成此任务这一直觉，而非为专门理解表格结构而设计的通用 VLLMs 也能做到。本研究为理解 VLLMs 处理复杂表格的潜力与局限性提供了见解，并为未来在通用 VLLMs 中集成结构化数据理解提供了指导。
引用
@article{arxiv.2511.08298,
title = {Hierarchical structure understanding in complex tables with VLLMs: a benchmark and experiments},
author = {Luca Bindini and Simone Giovannini and Simone Marinai and Valeria Nardoni and Kimiya Noor Ali},
journal= {arXiv preprint arXiv:2511.08298},
year = {2025}
}