HATFormer：基于 Transformer 的历史阿拉伯手写文本识别
摘要
Arabic handwritten text recognition (HTR) 对历史文本尤其具有挑战性，因为其书写风格多样且阿拉伯文字本身具有独特特征。此外，Arabic handwriting 数据集的规模远小于 English 数据集，使得训练通用 Arabic HTR 模型困难。为此，我们提出 HATFormer，一种基于 Transformer 的 encoder-decoder 架构，基于最先进的 English HTR 模型构建。通过利用 Transformer 的注意力机制，HATFormer 捕获空间上下文信息，以通过区分 cursive 字符、分解视觉表示和识别 diacritics 来解决阿拉伯文字的内在挑战。我们对历史阿拉伯手写 Arabic 进行了定制化，包括用于有效 ViT 信息预处理的 image processor、用于紧凑 Arabic 文本表示的 text tokenizer，以及考虑 limited amount of historic Arabic handwriting 数据的 training pipeline。HATFormer 在最大公共历史阿拉伯手写数据集上实现了 8.6% 的字符错误率 (CER)，并在最佳基准方法中实现了 51% 的改进。HATFormer 还在最大私人 non-historical 数据集上实现了相当的 CER 4.2%。我们的工作表明了将 English HTR 方法适应到面对 low-resource 语言并具有 complex、language-specific 挑战的阿拉伯文字的可行性，为 document digitization、information retrieval 和 cultural preservation 做出了贡献。
关键词
引用
@article{arxiv.2410.02179,
title = {HATFormer: Historic Handwritten Arabic Text Recognition with Transformers},
author = {Adrian Chan and Anupam Mijar and Mehreen Saeed and Chau-Wai Wong and Akram Khater},
journal= {arXiv preprint arXiv:2410.02179},
year = {2025}
}