手写数学表达式识别的注意力引导机制
计算机视觉与模式识别
2024-03-06 v2
摘要
手写数学表达式识别（HMER）在图像到文本任务中具有挑战性，因为数学表达式布局复杂，并且存在过度解析和解析不足的问题。为了解决这些问题，先前的HMER方法通过利用历史对齐信息来改进注意力机制。然而，这种方法在解决解析不足方面存在局限性，因为它无法纠正对后续解码步骤中本应解析的图像区域的错误注意力。这种错误的注意力导致注意力模块将未来上下文纳入当前解码步骤，从而混淆了对齐过程。为了解决这个问题，我们提出了一种注意力引导机制，明确抑制不相关区域的注意力权重并增强适当区域的注意力权重，从而抑制对预期上下文之外信息的访问。根据注意力引导的类型，我们设计了两种互补的方法来细化注意力权重：自引导（协调多头注意力）和邻域引导（整合相邻时间步的注意力）。实验表明，我们的方法优于现有最先进方法，在CROHME 2014/2016/2019数据集上分别达到了60.75%/61.81%/63.30%的表达式识别率。
引用
@article{arxiv.2403.01756,
title = {Attention Guidance Mechanism for Handwritten Mathematical Expression Recognition},
author = {Yutian Liu and Wenjun Ke and Jianguo Wei},
journal= {arXiv preprint arXiv:2403.01756},
year = {2024}
}