基于Transformer模型的手写体文本在历史手稿中的识别
计算机视觉与模式识别
2025-08-18 v1
摘要
历史手写体文本识别（HTR）对于释放档案文件文化和学术价值至关重要，但由于稀缺的转录、语言变异和高度多样的手写体风格，通常阻碍了数字化。本研究将TrOCR，这是一种最先进的基于Transformer的HTR模型，应用于卢尔德·瓦尔瑟（Rudolf Gwalther）所著的16世纪拉丁文手稿。我们研究了针对性的图像预处理和广泛的数据增强技术，提出了四种专为历史手写体特征设计的新型数据增强方法。我们还评估了集成学习方法，以利用增强训练模型的互补优势。在Gwalther数据集上，我们最佳的单模型数据增强（弹性变形）实现了1.86%的字符错误率（CER），而Top-5投票集成实现了1.60%的CER——表示相对于最佳报告的TrOCR_BASE结果实现了50%的相对改进，相对于前沿方法实现了42%的改进。这些结果凸显了面向历史手稿的特定数据增强和集成策略在推动HTR性能方面的影响。
关键词
引用
@article{arxiv.2508.11497,
title = {Hierarchical Graph Feature Enhancement with Adaptive Frequency Modulation for Visual Recognition},
author = {Feiyue Zhao and Zhichao Zhang},
journal= {arXiv preprint arXiv:2508.11497},
year = {2025}
}