基于注意力聚合的双向互学习手写数学表达式识别
计算机视觉与模式识别
2022-02-24 v3 人工智能
机器学习
摘要
手写数学表达式识别旨在从给定图像中自动生成LaTeX序列。目前，基于注意力的编码器-解码器模型在该任务中被广泛使用。它们通常以从左至右（L2R）的方式生成目标序列，未利用从右至左（R2L）的上下文。本文提出一种基于注意力聚合的双向互学习网络（ABM），其由一个共享编码器和两个并行逆向解码器（L2R与R2L）组成。两个解码器通过互蒸馏增强，在每步训练中进行一对一知识迁移，充分利用来自两个逆向方向的互补信息。此外，为处理不同尺度的数学符号，提出注意力聚合模块（AAM）以有效整合多尺度覆盖注意力。值得注意的是，在推理阶段，鉴于模型已学习到两个逆向方向的知识，我们仅使用L2R分支进行推理，保持原有的参数量与推理速度。大量实验表明，在不使用数据增强与模型集成的条件下，我们所提方法在CROHME 2014、CROHME 2016和CROHME 2019上的识别准确率分别达到56.85%、52.92%和53.96%，大幅优于当前最优方法。源代码见https://github.com/XH-B/ABM。
引用
@article{arxiv.2112.03603,
title = {Handwritten Mathematical Expression Recognition via Attention Aggregation based Bi-directional Mutual Learning},
author = {Xiaohang Bian and Bo Qin and Xiaozhe Xin and Jianwu Li and Xuefeng Su and Yanfeng Wang},
journal= {arXiv preprint arXiv:2112.03603},
year = {2022}
}
备注
9 pages,5 figures, have been accepted in AAAI 2022 Oral