离线文本识别的书写者自适应：基于神经网络方法的探索
计算机视觉与模式识别
2023-07-31 v1 计算与语言
摘要
手写识别在深度学习的应用下已取得显著成功。然而，神经网络一个长期存在的缺陷是它们不善于处理数据分布偏移。在手写文本识别（HTR）领域，这表现为对与训练时所见书写者不相似的书写者识别准确率低。理想的 HTR 模型应能适应新书写风格，以应对海量可能的书写风格。本文中，我们探索如何仅利用来自新书写者的少量样本（如 16 个样本）进行自适应，使 HTR 模型具备书写者自适应能力。以两种 HTR 架构作为基模型，采用 ResNet 骨干网络并分别搭配 LSTM 或 Transformer 序列解码器。基于这些基模型，考虑了两种使其具备书写者自适应的方法：1）模型无关元学习（MAML），一种常用于少样本分类等任务的算法；2）书写者码，一个源自自动语音识别的思想。结果表明，称为 MetaHTR 的 HTR 专用版 MAML 相较基线提升了性能，词错误率（WER）改善了 1.4 至 2.0。由书写者自适应带来的改善在 0.2 至 0.7 WER 之间，其中较深的模型似乎比浅层模型更适于使用 MetaHTR 进行自适应。然而，由于 MetaHTR 较高的计算与内存需求，将其应用于更大的 HTR 模型或句子级 HTR 可能难以承受。最后，基于学习特征或 Hinge 统计特征的书写者码未能带来识别性能的提升。
引用
@article{arxiv.2307.15071,
title = {Writer adaptation for offline text recognition: An exploration of neural network-based methods},
author = {Tobias van der Werff and Maruf A. Dhali and Lambert Schomaker},
journal= {arXiv preprint arXiv:2307.15071},
year = {2023}
}
备注
21 pages including appendices, 6 figures, 10 tables