利用迁移学习在小型数据库中提升手写文本识别
计算机视觉与模式识别
2020-12-08 v1 机器学习
机器学习
摘要
本文处理训练数据集缩减情况下的离线手写文本识别（HTR）问题。近期基于人工神经网络的 HTR 方案在参考数据库中表现卓越。这些深度学习神经网络由卷积（CNN）与长短期记忆循环单元（LSTM）组成。此外，连接主义时序分类（CTC）是避免字符级分割、极大简化标注任务的关键。CNNLSTM-CTC（CLC）方案的主要缺点之一是，每种书法都需转录相当部分的文本，通常约为数千行。此外，某些场景下待转录文本并不长，例如 Washington 数据库。CLC 对该缩减的训练样本数通常过拟合。我们的方案基于从较大数据库学到的参数进行迁移学习（TL）。我们首先针对缩减且固定的训练样本数 350 行，研究从大数据库 IAM 学到的内容如何迁移到小数据库 Washington 的 CLC 学习中。我们聚焦于网络中哪些层可不重新训练。我们得出结论：最佳方案是重新训练整个 CLC 参数，并初始化为从较大数据库训练 CLC 所得的值。我们还研究了训练规模进一步缩减时的结果。当仅以 350 行训练时差异更显著，采用 TL 的 CER 为 3.3%，而从零训练 CER 为 18.2%。作为副产品，学习时间大幅缩减。当以该缩减行数和新方法训练时，从 Parzival 数据库也获得类似良好结果。
引用
@article{arxiv.1804.01527,
title = {Boosting Handwriting Text Recognition in Small Databases with Transfer Learning},
author = {José Carlos Aradillas and Juan José Murillo-Fuentes and Pablo M. Olmos},
journal= {arXiv preprint arXiv:1804.01527},
year = {2020}
}
备注
ICFHR 2018 Conference