教机器写代码：具有视觉注意的神经标记生成
机器学习
2018-06-19 v2 计算与语言
计算机视觉与模式识别
神经与进化计算
摘要
我们提出一种具有视觉注意的神经转导模型，该模型学习在给定真实世界数学公式图像的情况下生成其 LaTeX 标记。应用已在自然语言、图像、手写、语音和音频等多种模态中非常成功的序列建模与转导技术，我们构建了一个图像到标记模型，该模型学习生成长度超过 150 词且在语法和语义上正确的 LaTeX 标记代码，并取得了 89% 的 BLEU 分数，改进了此前 Im2Latex 问题上的最优水平。我们还通过热力图可视化展示注意机制如何帮助解释模型，并能在未使用任何边界框数据训练的情况下准确 pinpoint(检测并定位)图像上的符号。
引用
@article{arxiv.1802.05415,
title = {Teaching Machines to Code: Neural Markup Generation with Visual Attention},
author = {Sumeet S. Singh},
journal= {arXiv preprint arXiv:1802.05415},
year = {2018}
}
备注
For datasets, visualizations and ancillary material see: https://untrix.github.io/i2l . For source code go to: https://github.com/untrix/im2latex