搭建桥梁：融合 CNN 和 Transformer 以解码手写阿拉伯脚本的优雅之处
计算机视觉与模式识别
2025-03-20 v1
摘要
手写阿拉伯脚本识别是一个具有挑战性的任务，due to 该脚本的动态字母形式和情境变异性。本文提出了一种混合方法，结合卷积神经网络 (CNN) 和基于 Transformer 的架构来解决这些复杂问题。我们评估了定制模型和微调模型，包括 EfficientNet-B7 和 Vision Transformer (ViT-B16)，并引入了一个利用置信度基于融合整合其优势的集成模型。我们的集成模型在 IFN/ENIT 数据集上实现了惊人的性能，字母分类准确率为 96.38%，位置分类准确率为 97.22%。结果突显了 CNN 和 Transformer 的互补性，证明了其组合对于稳健的阿拉伯手写体识别的潜力。该工作推动了 OCR 系统的发展，为实际应用提供了可扩展的解决方案。
引用
@article{arxiv.2503.15023,
title = {Bridging the Gap: Fusing CNNs and Transformers to Decode the Elegance of Handwritten Arabic Script},
author = {Chaouki Boufenar and Mehdi Ayoub Rabiai and Boualem Nadjib Zahaf and Khelil Rafik Ouaras},
journal= {arXiv preprint arXiv:2503.15023},
year = {2025}
}