TSRFormer：基于 Transformer 的表格结构识别
计算机视觉与模式识别
2022-08-10 v1
摘要
我们提出了一种称为 TSRFormer 的新型表格结构识别（TSR）方法，用于从各类表格图像中鲁棒地识别具有几何形变的复杂表格的结构。与以往方法不同，我们将表格分隔线预测表述为线回归问题而非图像分割问题，并提出了一种基于两阶段 DETR 的分离器预测方法，称为 Separator Regression Transformer（SepRETR，分隔线回归 Transformer），直接从表格图像中预测分隔线。为使两阶段 DETR 框架在分隔线预测任务上高效且有效地工作，我们提出了两项改进：1）一种先验增强匹配策略，以解决 DETR 收敛慢的问题；2）一种新的交叉注意力模块，可直接从高分辨率卷积特征图中采样特征，从而以低计算成本实现高定位精度。在分隔线预测之后，使用一个基于简单关系网络的单元格合并模块来恢复跨列单元格。借助这些新技术，我们的 TSRFormer 在多个基准数据集（包括 SciTSR、PubTabNet 和 WTW）上取得了最先进的性能。此外，我们在一个更具挑战性的真实内部数据集上验证了该方法对具有复杂结构、无边框单元格、大空白区域、空单元格或跨列单元格以及扭曲甚至弯曲形状的表格的鲁棒性。
引用
@article{arxiv.2208.04921,
title = {TSRFormer: Table Structure Recognition with Transformers},
author = {Weihong Lin and Zheng Sun and Chixiang Ma and Mingze Li and Jiawei Wang and Lei Sun and Qiang Huo},
journal= {arXiv preprint arXiv:2208.04921},
year = {2022}
}
备注
Accepted by ACM MultiMedia 2022