致力于使流程图图像机器可解释
计算机视觉与模式识别
2025-01-30 v1 人工智能
计算与语言
数字图书馆
软件工程
摘要
计算机编程教科书和软件文档常包含流程图来说明算法或程序的执行流程。现代光学字符识别引擎通常将这些流程图标记为图形并在后续处理中忽略它们。本文致力于使流程图图像机器可解释，通过将其转换为可执行的 Python 代码。为此，灵感来自自然语言到代码生成文献的最新进展，我们提出了一种新型基于 Transformer 的框架，称为 FloCo-T5。我们的模型特别适合此任务，因为它能够有效学习编程语言的语义、结构和模式，从而生成语法正确的代码。我们还使用大量保持逻辑的增强代码样本采用特定于任务的预训练目标来预训练 FloCo-T5。为进行严格的本问题研究，我们引入 FloCo 数据集，其中包含 11,884 个流程图图像及其对应的 Python 代码。我们的实验显示出有前景的结果，FloCo-T5 在代码生成指标上明显优于相关竞争基线。我们公开了数据集和实现。
关键词
引用
@article{arxiv.2501.17441,
title = {Towards Making Flowchart Images Machine Interpretable},
author = {Shreya Shukla and Prajwal Gatti and Yogesh Kumar and Vikash Yadav and Anand Mishra},
journal= {arXiv preprint arXiv:2501.17441},
year = {2025}
}
备注
Published at: ICDAR 2023, Project Page: https://vl2g.github.io/projects/floco/