TextMatcher：用于图像与文本比对的交叉注意力神经网络
计算机视觉与模式识别
2022-10-07 v2
摘要
我们研究了一个新颖的多模态学习问题，称之为文本匹配：给定一幅包含单行文本的图像与一个候选文本转写，目标是判断图像中所表示的文本是否与候选文本相对应。我们设计了首个专门为该问题设计的机器学习模型。所提模型称为 TextMatcher，通过对图像与文本的嵌入表示施加交叉注意力机制来比对两个输入，并以端到端方式训练。我们在流行的 IAM 数据集上广泛评估了 TextMatcher 的经验性能。结果证实，相较于为相关问题设计的基线及已有模型，TextMatcher 在多种配置下取得了更高性能，同时在推理时运行更快。我们还在涉及银行支票自动处理的真实应用场景中展示了 TextMatcher。
引用
@article{arxiv.2205.05507,
title = {TextMatcher: Cross-Attentional Neural Network to Compare Image and Text},
author = {Valentina Arrigoni and Luisa Repele and Dario Marino Saccavino},
journal= {arXiv preprint arXiv:2205.05507},
year = {2022}
}
备注
Accepted at the 25th International Conference on Discovery Science 2022, 15 pages