ChartDETR：一种用于视觉图表识别的多形状检测网络
计算机视觉与模式识别
2023-08-16 v1
摘要
由于从图表图像中自动识别表头与数值的需求不断增长，视觉图表识别系统正受到越来越多的关注。当前方法依赖关键点检测来估计图表中数据元素的形状，但在后处理中饱受分组错误之苦。为解决此问题，我们提出 ChartDETR，一种基于 transformer 的多形状检测器，其通过定位规则形状角点处的关键点来重建单张图表图像中的多个数据元素。我们的方法通过在集合预测中引入查询组一次性预测所有数据元素形状，消除了进一步后处理的需要。该特性使 ChartDETR 能作为一个统一框架，无需改变网络架构即可表示各类图表类型，有效检测不同形状的数据元素。我们在三个数据集上评估了 ChartDETR，在所有图表类型上均取得具竞争力的结果而无需任何额外增强。例如，ChartDETR 在 Adobe Synthetic 上取得 0.98 的 F1 分数，显著优于先前最佳模型的 0.71 F1 分数。此外，我们在 ExcelChart400k 上取得了 0.97 的新最优结果。代码将公开可用。
引用
@article{arxiv.2308.07743,
title = {ChartDETR: A Multi-shape Detection Network for Visual Chart Recognition},
author = {Wenyuan Xue and Dapeng Chen and Baosheng Yu and Yifei Chen and Sai Zhou and Wei Peng},
journal= {arXiv preprint arXiv:2308.07743},
year = {2023}
}