利用具有序列级训练的深层神经网络将数学公式图像翻译为 LaTeX 序列
机器学习
2019-09-11 v2 计算机视觉与模式识别
机器学习
摘要
在本文中，我们提出一种具有编码器-解码器架构的深层神经网络模型，将数学公式图像翻译为其 LaTeX 标记序列。编码器是一个卷积神经网络(CNN)，将图像变换为一组特征图。为更好地捕捉数学符号的空间关系，特征图在展开为向量之前被辅以二维位置编码。解码器是一个集成了软注意力机制的堆叠双向长短期记忆(LSTM)模型，其作为语言模型将编码器输出翻译为 LaTeX 标记序列。该神经网络分两步训练。第一步是使用最大似然估计(MLE)作为目标函数的标记级训练。标记级训练完成后，采用序列级训练目标函数基于强化学习的策略梯度算法来优化整体模型。我们的设计还通过在序列级训练期间闭合解码器中的反馈回路，即在每个时间步输入预测标记而非真实标记，克服了暴露偏差问题。该模型在 IM2LATEX-100K 数据集上训练与评估，并在基于序列与基于图像的评估指标上均展现出最先进的性能。
引用
@article{arxiv.1908.11415,
title = {Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training},
author = {Zelun Wang and Jyh-Charn Liu},
journal= {arXiv preprint arXiv:1908.11415},
year = {2019}
}
备注
11 pages, 4 figures