中文

句子级在线手写汉字识别

计算机视觉与模式识别 2021-08-06 v1 计算与语言

摘要

单字在线手写汉字识别(single OLHCCR)已取得卓越性能。然而,在实际应用场景中,用户通常书写多个汉字以构成完整句子,这些字符内的上下文信息具有显著提升句子级 OLHCCR 准确性、鲁棒性与效率的潜力。本工作中,我们首先提出一种简洁直接的端到端网络,即朴素组合网络(VCN)来处理句子级 OLHCCR。它将卷积神经网络与序列建模架构相耦合,以利用手写字符的前文上下文信息。尽管 VCN 性能远优于最先进的单字 OLHCCR 模型,但在面对书写不佳的字符(如潦草书写、缺失或断裂笔画)时表现出较高的脆弱性。为提升句子级 OLHCCR 的鲁棒性,我们进一步提出一种新颖的深度时空融合网络(DSTFN)。它利用预训练的自回归框架作为主干组件,将每个汉字投影为词嵌入,并在多层融合模块中多次整合手写字符的空间字形特征与其上下文信息。我们还构建了一个大规模句子级手写数据集,命名为 CSOHD,用于评估模型。大量实验结果表明,DSTFN 取得了最先进的性能,相较于 VCN 与现有单字 OLHCCR 模型展现出强鲁棒性。深入的实证分析与案例研究指出,DSTFN 可显著提升手写输入效率,并能精确识别具有不完整笔画的手写汉字。

关键词

引用

@article{arxiv.2108.02561,
  title  = {Sentence-level Online Handwritten Chinese Character Recognition},
  author = {Yunxin Li and Qian Yang and Qingcai Chen and Lin Ma and Baotian Hu and Xiaolong Wang and Yuxin Ding},
  journal= {arXiv preprint arXiv:2108.02561},
  year   = {2021}
}

备注

10 pages, 10 figures