基于边权图注意力网络的手写数学表达式识别中的局部与全局图建模
计算机视觉与模式识别
2024-10-25 v1 机器学习
摘要
本文提出了一种新颖的方法，用于手写数学表达式识别 (HMER)，通过利用基于图的建模技术。我们引入了一个具有边权图注意力机制 (EGAT) 的端到端模型，旨在执行同时的节点和边分类。该模型有效地整合了节点和边特征，促进对数学表达式中符号类别及其关系的预测。此外，我们提出了一种基于笔画级别的图建模方法，用于局部 (LGM) 和全局 (GGM) 信息，这种方法将识别问题转化为图结构中的节点和边分类任务。通过捕获局部和全局图特征，我们的方法确保了对表达式结构的全面理解。通过将这些组件组合起来，我们的系统在符号检测、关系分类和表达式级识别方面表现出优异的性能。
引用
@article{arxiv.2410.18555,
title = {Local and Global Graph Modeling with Edge-weighted Graph Attention Network for Handwritten Mathematical Expression Recognition},
author = {Yejing Xie and Richard Zanibbi and Harold Mouchère},
journal= {arXiv preprint arXiv:2410.18555},
year = {2024}
}