ViRED：工程图图中的视觉关系预测
计算机视觉与模式识别
2024-09-04 v1 人工智能
摘要
要准确理解工程图，必须在图像与其描述表格之间建立对应关系。现有文档理解方法主要聚焦于文本，难以处理包含大量图像信息的文档。在视觉关系检测领域，任务的结构本质上限制了其对图中所有实体对之间关系的评估能力。为此，我们提出一种基于视觉的关系检测模型，名为 ViRED，用于识别电气工程图中表格与电路之间的关联。我们的模型主要由三个部分组成：视觉编码器、对象编码器和关系解码器。我们使用 PyTorch 实现 ViRED，对其性能进行评估。为验证 ViRED 的有效性，我们进行了一系列实验。实验结果表明，在工程图数据集中，我们的方法在关系预测任务中达到了 96% 的准确率，显著优于现有方法。结果还显示，即使单个工程图中存在大量对象，ViRED 也能在快速推断速度。
引用
@article{arxiv.2409.00909,
title = {ViRED: Prediction of Visual Relations in Engineering Drawings},
author = {Chao Gu and Ke Lin and Yiyang Luo and Jiahui Hou and Xiang-Yang Li},
journal= {arXiv preprint arXiv:2409.00909},
year = {2024}
}
备注
8 pages, 5 figures