用于离线手写数学表达式识别的空间注意力与语法规则增强树解码器
计算机视觉与模式识别
2023-03-14 v1
摘要
离线手写数学表达式识别（HMER）近期因采用树解码器作为编码器-解码器方法的一部分而取得显著进展。尽管基于树解码器的方法将表达式视为树并将二维空间结构解析为树节点序列，现有工作的性能仍较差，原因在于不可避免的树节点预测错误。此外，它们缺乏语法规则来规范表达式的输出。在本文中，我们提出一种称为空间注意力与语法规则增强树解码器（SS-TD）的新模型，其配备空间注意力机制以缓解树结构的预测错误，并使用语法掩码（由语法规则转换得到）来约束不合文法的数学表达式的出现。如此，我们的模型能有效描述树结构并提高输出表达式的准确率。实验表明，SS-TD 在 CROHME 14/16/19 数据集上取得了优于先前模型的识别性能，证明了我们模型的有效性。
引用
@article{arxiv.2303.07077,
title = {Spatial Attention and Syntax Rule Enhanced Tree Decoder for Offine Handwritten Mathematical Expression Recognition},
author = {Zihao Lin and Jinrong Li and Fan Yang and Shuangping Huang and Xu Yang and Jianmin Lin and Ming Yang},
journal= {arXiv preprint arXiv:2303.07077},
year = {2023}
}