面向精确印刷体数学公式识别的双分支网络
计算机视觉与模式识别
2023-12-15 v1
摘要
在过去几年中，印刷体数学公式识别发展迅速。然而，由于卷积神经网络捕获的上下文信息不足，某些数学符号可能会被错误识别或遗漏。为了解决这个问题，本文提出了一种基于 Transformer 的双分支网络，以同时学习局部和全局上下文信息，从而实现精确的 PMER。在我们的 DBN 中，局部和全局特征被同时提取，并开发了一个上下文耦合模块来补充全局和局部上下文之间的特征。CCM 采用交互方式，使得耦合的上下文线索与每个公式符号高度相关。此外，我们设计了一种动态软目标策略，利用符号类别之间的相似性来生成合理的标签。我们的实验结果表明，DBN 能够准确识别数学公式，并取得了 SOTA 性能。
引用
@article{arxiv.2312.09030,
title = {Dual Branch Network Towards Accurate Printed Mathematical Expression Recognition},
author = {Yuqing Wang and Zhenyu Weng and Zhaokun Zhou and Shuaijian Ji and Zhongjie Ye and Yuesheng Zhu},
journal= {arXiv preprint arXiv:2312.09030},
year = {2023}
}
备注
Published at ICANN 2022