基于视觉转换器的手写数学表达式自动 LaTeX 代码生成
计算机视觉与模式识别
2024-12-10 v2 计算与语言
摘要
将数学表达式转换为 LaTeX 语言是一项具有重要挑战性的任务。本文探讨了先进的基于转换器架构的技术如何应用于将手写或数字数学表达式图像转换为相应 LaTeX 代码的任务。作为基线，我们采用当前最先进的 CNN 编码器和 LSTM 解码器。此外，我们通过替换 CNN 编码器为预训练的 ResNet50 模型，并对其进行修改以适配灰度输入，进一步增强了 CNN-RNN 架构。我们还实验性地使用视觉转换器模型，并与基线和 CNN-LSTM 模型进行比较。我们的发现表明，视觉转换器架构优于基线 CNN-RNN 框架，实现更高的整体准确率和 BLEU 分数，同时达到更低的 Levenshtein 距离。此外，这些结果突显了通过微调模型参数进一步提高性能的潜力。为鼓励开放研究，我们还提供了模型实现，使他人能够复现我们的研究结果，并推动该领域的进一步研究。
引用
@article{arxiv.2412.03853,
title = {Automated LaTeX Code Generation from Handwritten Math Expressions Using Vision Transformer},
author = {Jayaprakash Sundararaj and Akhil Vyas and Benjamin Gonzalez-Maldonado},
journal= {arXiv preprint arXiv:2412.03853},
year = {2024}
}
备注
7 pages; 3 figures