用于在线手写数学表达式识别的笔划约束注意力网络
计算机视觉与模式识别
2020-02-21 v1
摘要
本文提出一种新颖的笔划约束注意力网络（SCAN），该网络以笔划作为基于编码器-解码器的在线手写数学表达式识别（HMER）的基本单元。与以往使用轨迹点或图像像素作为基本单元的方法不同，SCAN充分利用笔划级信息以实现更好的对齐与表示。所提出的SCAN可应用于单模态（在线或离线）与多模态HMER。对于单模态HMER，SCAN首先采用CNN-GRU编码器从在线模式的输入轨迹中提取点级特征，并采用CNN编码器从离线模式的输入图像中提取像素级特征，随后利用笔划约束信息将它们转换为在线与离线笔划级特征。使用笔划级特征可显式地将属于同一笔划的点或像素分组，从而通过带注意力机制的解码器降低符号分割与识别的难度。对于多模态HMER，除在解码器中融合多模态信息外，SCAN还可利用在线与离线模态间基于笔划的对齐在编码器中融合多模态信息。编码器融合是结合多模态信息的更好方式，因为它在解码器融合之前一步实现信息交互，从而在训练编码器-解码器模型时更早且更充分地利用多模态的优势。在CROHME竞赛发布的基准上评估，所提出的SCAN取得了最先进的性能。
引用
@article{arxiv.2002.08670,
title = {Stroke Constrained Attention Network for Online Handwritten Mathematical Expression Recognition},
author = {Jiaming Wang and Jun Du and Jianshu Zhang},
journal= {arXiv preprint arXiv:2002.08670},
year = {2020}
}