通过卷积识别模型特征与文本标签实现手写错词离线检测
计算机视觉与模式识别
2023-09-20 v1
摘要
近年来，随着深度学习架构的出现，离线手写识别（HWR）取得了显著改进。尽管如此，它仍是一个具有挑战性的问题，实际应用常依赖后处理技术通过词表或语言模型限制预测词。尽管性能有所增强，此类系统在预期出现词汇表外词的情境下可用性较低，例如用于在学校评估中检测错拼词。为此，我们引入了将手写图像与文本进行比较的任务。为解决该问题，我们提出了一种无限制二元分类器，由 HWR 特征提取器和多模态分类头组成，后者将特征提取器输出与输入文本的向量表示进行卷积。我们的模型分类头完全在使用最先进生成对抗网络创建的合成数据上训练。我们证明，在保持高召回率的同时，与直接使用最先进 HWR 模型处理该任务相比，该分类器经校准可实现平均精度提升 19.5%。如此巨大的性能增益可在采用人在回路自动化的应用中带来显著的生产力提升。
引用
@article{arxiv.2309.10158,
title = {Offline Detection of Misspelled Handwritten Words by Convolving Recognition Model Features with Text Labels},
author = {Andrey Totev and Tomas Ward},
journal= {arXiv preprint arXiv:2309.10158},
year = {2023}
}