少样本即足矣:面向低资源手写文本识别的渐进少样本学习方法
计算机视觉与模式识别
2022-06-14 v3
摘要
低资源场景下的手写文本识别,例如带有稀有字母表的手稿,是一个具有挑战性的问题。主要困难来自极少的标注数据以及有限的语言信息(如词典和语言模型)。因此,我们提出一种基于少样本学习的手写识别方法,显著减少人工标注过程,仅需每个字母符号的少量图像。该方法包括检测文本行图像中给定字母表的所有符号,并将获得的相似度分数解码为最终的转写符号序列。我们的模型首先在任何字母表(即使不同于目标域)生成的合成行图像上预训练。然后应用第二个训练步骤以缩小源数据与目标数据之间的差距。由于该再训练需要标注数千个手写符号及其边界框,我们提出通过无监督渐进学习方法自动为非标注数据分配伪标签,从而避免此类人力投入。在不同手稿数据集上的评估表明,我们的模型能以显著减少人力投入取得有竞争力的结果。代码将公开于此仓库:\url{https://github.com/dali92002/HTRbyMatching}
引用
@article{arxiv.2107.10064,
title = {Few Shots Are All You Need: A Progressive Few Shot Learning Approach for Low Resource Handwritten Text Recognition},
author = {Mohamed Ali Souibgui and Alicia Fornés and Yousri Kessentini and Beáta Megyesi},
journal= {arXiv preprint arXiv:2107.10064},
year = {2022}
}
备注
Accepted in Pattern Recognition Letters