ChartEye：用于图表信息提取的深度学习框架
计算机视觉与模式识别
2024-08-30 v1 人工智能
机器学习
摘要
图表和信息图作为数据可视化手段在各领域广泛应用，激发了最近的自动化图表理解研究。然而，由于样式变化导致从图表图像中提取信息是一个复杂的多任务过程，这使得设计端到端系统具有挑战性。本研究提出了基于深度学习的框架，为图表信息提取管道的关键步骤提供了解决方案。该框架利用层次化视觉转换器完成图表类型和文本角色分类任务，同时使用 YOLOv7 进行文本检测。检测到的文本随后通过超分辨率生成对抗网络进行增强，以提高 OCR 的识别输出。实验结果表明，本文提出的框架在每个阶段均取得优异性能：图表类型分类 F1 分数达到 0.97，文本角色分类 F1 分数达到 0.91，文本检测平均精度达到 0.95。
引用
@article{arxiv.2408.16123,
title = {ChartEye: A Deep Learning Framework for Chart Information Extraction},
author = {Osama Mustafa and Muhammad Khizer Ali and Momina Moetesum and Imran Siddiqi},
journal= {arXiv preprint arXiv:2408.16123},
year = {2024}
}
备注
8 Pages, and 11 Figures