基于动态查询增强检测变压器的鲁棒表格结构识别
计算机视觉与模式识别
2023-07-13 v2
摘要
我们提出一种新的表格结构识别（TSR）方法，称为 TSRFormer，用于从各类表格图像中鲁棒地识别具有几何形变的复杂表格的结构。与以往方法不同，我们将表格分隔线预测公式化为线回归问题而非图像分割问题，并提出了一种基于两阶段动态查询增强 DETR 的新的分隔线回归方法，称为 DQ-DETR，直接从表格图像预测分隔线。相较于原始 DETR，我们在 DQ-DETR 中提出了三项改进，使两阶段 DETR 框架能高效且有效地用于分隔线预测任务：1）一种新的查询设计，称为动态查询，将单线查询解耦为可分离的点查询，可直观提升回归任务的定位精度；2）一种基于动态查询的渐进式线回归方法，渐进回归线上的点为形变表格进一步增强定位精度；3）一种先验增强匹配策略以解决 DETR 收敛慢的问题。分隔线预测后，使用一个基于简单关系网络的单元格合并模块来恢复跨单元格。借助这些新技术，我们的 TSRFormer 在包括 SciTSR、PubTabNet、WTW 与 FinTabNet 在内的多个基准数据集上取得了最先进的性能。此外，我们在一个更具挑战性的真实内部数据集上验证了该方法对具复杂结构、无边框单元格、大空白、空或跨单元格以及形变甚至弯曲形状的表格的鲁棒性与高定位精度。
引用
@article{arxiv.2303.11615,
title = {Robust Table Structure Recognition with Dynamic Queries Enhanced Detection Transformer},
author = {Jiawei Wang and Weihong Lin and Chixiang Ma and Mingze Li and Zheng Sun and Lei Sun and Qiang Huo},
journal= {arXiv preprint arXiv:2303.11615},
year = {2023}
}
备注
18 pages, 11 figures, PR2023. arXiv admin note: substantial text overlap with arXiv:2208.04921