用于表格结构识别的神经协作图机器
计算机视觉与模式识别
2022-03-11 v2
摘要
近年来，在深度图模型的帮助下，表格结构识别取得了令人瞩目的进展。多数方法利用表格元素的单一视觉线索，或通过早期融合将视觉线索与其他模态简单结合以推理其图关系。然而，无论是早期融合还是基于多模态的独立推理，都难以适配具有高度多样性的各类表格结构。相反，不同模态应以不同模式针对不同表格案例相互协作。在学界，模态内-模态间交互对表格结构推理的重要性仍未被探索。本文将其定义为异质表格结构识别（Hetero-TSR）问题。为填补此空白，我们提出一种新颖的神经协作图机器（NCGM），其配备堆叠的协作块，以分层方式交替提取模态内上下文并建模模态间交互。它能更鲁棒地表示表格元素的模态内-模态间关系，显著提升识别性能。我们还表明，所提 NCGM 可根据模态内线索的上下文调节不同模态的协作模式，这对多样化表格案例至关重要。在基准上的实验结果表明，我们的 NCGM 取得了最先进的性能，并在极具挑战性的场景下大幅超越其他同期方法。
引用
@article{arxiv.2111.13359,
title = {Neural Collaborative Graph Machines for Table Structure Recognition},
author = {Hao Liu and Xin Li and Bing Liu and Deqiang Jiang and Yinsong Liu and Bo Ren},
journal= {arXiv preprint arXiv:2111.13359},
year = {2022}
}
备注
Accepted to CVPR2022