如何为单书写者微调选择预训练手写识别模型
计算机视觉与模式识别
2023-05-05 v1 数字图书馆
摘要
基于深度学习的手写文本识别(HTR)近期进展已使模型在大型基准数据集上的现代与历史手稿均取得卓越性能。然而，当应用于具有特殊特征（如语言、纸张载体、墨水和作者笔迹）的手稿时，这些模型难以获得同等性能。对于历史档案馆中珍贵但小规模的文件收藏，此问题尤为突出，因为获取足够的标注训练数据成本高昂，某些情况下甚至不可行。为克服这一挑战，一种可能的解决方案是在大型数据集上预训练 HTR 模型，然后在小型单作者收藏上微调。本文中，我们考虑大型真实基准数据集以及通过风格化手写文本生成模型获得的合成数据集。通过广泛的实验分析，并考量微调行数，我们定量指出了此类数据中最相关的特征，以用少至五条真实微调行获得能有效转录小型收藏手稿的 HTR 模型。
引用
@article{arxiv.2305.02593,
title = {How to Choose Pretrained Handwriting Recognition Models for Single Writer Fine-Tuning},
author = {Vittorio Pippi and Silvia Cascianelli and Christopher Kermorvant and Rita Cucchiara},
journal= {arXiv preprint arXiv:2305.02593},
year = {2023}
}
备注
Accepted at ICDAR2023