基于双向训练 Transformer 的手写数学表达式识别
计算机视觉与模式识别
2021-05-18 v3
摘要
编码器-解码器模型近期在手写数学表达式识别上取得了很大进展。然而，现有方法准确将注意力分配到图像特征上仍具挑战。此外，那些编码器-解码器模型的解码部分通常采用基于 RNN 的模型，使其在长 序列处理上效率低下。本文采用基于 transformer 的解码器替代基于 RNN 的解码器，使整体模型架构非常简洁。此外，引入了一种新颖的训练策略以充分挖掘 transformer 在双向语言建模中的潜力。与若干不使用数据增强的方法相比，实验表明我们的模型在 CROHME 2014 上将当前最优方法的 ExpRate 提升了 2.23%。类似地，在 CROHME 2016 和 CROHME 2019 上，我们分别将 ExpRate 提升了 1.92% 和 2.28%。
引用
@article{arxiv.2105.02412,
title = {Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer},
author = {Wenqi Zhao and Liangcai Gao and Zuoyu Yan and Shuai Peng and Lin Du and Ziyin Zhang},
journal= {arXiv preprint arXiv:2105.02412},
year = {2021}
}
备注
Accept by ICDAR 2021