InstructTable：通过指令改进表格结构识别
计算机视觉与模式识别
2026-04-20 v2
摘要
表格结构识别（TSR）在将表格图像解析为结构化表示方面具有广泛的实际意义，但在处理涉及合并单元格或空单元格的复杂布局时面临重大挑战。传统以视觉为中心的模型仅依赖视觉信息，缺乏关键的语义支持，从而阻碍了复杂场景中的准确结构识别。视觉语言模型利用上下文语义增强理解，但这些方法对视觉结构信息的建模不够充分。为解决这些局限性，本文提出了 InstructTable，一个指令引导的多阶段训练 TSR 框架。精心设计的表格指令预训练将注意力引导至细粒度的结构模式，增强对复杂表格的理解。互补的 TSR 微调保留了稳健的视觉信息建模，在各种场景下保持高精度的表格解析。此外，我们提出了 Table Mix Expand（TME），一种创新的无模板方法，用于合成大规模真实表格数据。利用 TME，我们构建了 Balanced Complex Dense Synthetic Tables（BCDSTab）基准，包含 900 张通过我们的方法合成的复杂表格图像，作为严格的基准。在多个公开数据集（FinTabNet、PubTabNet、MUSTARD）和 BCDSTab 上的广泛实验表明 InstructTable 在 TSR 任务上达到了最先进性能。消融研究进一步证实了所提出的表格数据特定指令和合成数据的积极影响。
引用
@article{arxiv.2604.02880,
title = {InstructTable: Improving Table Structure Recognition Through Instructions},
author = {Boming Chen and Zining Wang and Zhentao Guo and Jianqiang Liu and Chen Duan and Yu Gu and Kai zhou and Pengfei Yan},
journal= {arXiv preprint arXiv:2604.02880},
year = {2026}
}
备注
2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition- FINDINGS Track (CVPRF)