当计数遇见HMER:面向手写数学表达式识别的计数感知网络
计算机视觉与模式识别
2022-07-26 v1 人工智能
摘要
近年来,大多数手写数学表达式识别(HMER)方法采用编码器-解码器网络,借助注意力机制直接从公式图像预测标记序列。然而,此类方法可能难以准确读取结构复杂的公式或生成较长的标记序列,因为由于书写风格或空间布局的较大差异,注意力结果往往不准确。为缓解该问题,我们提出一种用于HMER的非常规网络——计数感知网络(CAN),其联合优化两项任务:HMER与符号计数。具体而言,我们设计了一个弱监督计数模块,无需符号级位置标注即可预测每类符号的数量,并将其嵌入典型的基于注意力的编码器-解码器HMER模型中。在HMER基准数据集上的实验验证,联合优化与计数结果均有助于纠正编码器-解码器模型的预测错误,且CAN一致优于SOTA方法。特别是,与HMER的编码器-解码器模型相比,所提计数模块引起的额外时间开销可忽略不计。源代码见https://github.com/LBH1024/CAN。
引用
@article{arxiv.2207.11463,
title = {When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition},
author = {Bohan Li and Ye Yuan and Dingkang Liang and Xiao Liu and Zhilong Ji and Jinfeng Bai and Wenyu Liu and Xiang Bai},
journal= {arXiv preprint arXiv:2207.11463},
year = {2022}
}
备注
ECCV 2022