基于连体网络的词级离线笔迹识别神经网络

笔迹识别是文档理解与分析的理想属性之一。它关注文档的书写风格与区分作者的特征。文本图像的多样性，尤其在具有不同笔迹的图像中，使得在可用数据较少的情况下难以学习良好的特征。本文提出一种基于输入词图像识别文档作者的新方案。我们的方法独立于文本，且对受检输入图像的大小不施加任何约束。首先，我们检测笔迹中的关键成分，并使用尺度不变特征变换（SIFT）提取其周围区域。这些块旨在捕获个体书写特征（包括变体字母、字符或字符组合），这些特征对个体书写者可能是独特的。随后这些特征通过一个深度卷积神经网络（CNN），其中权重通过应用基于连体网络（Siamese network）的相似性学习概念来学习。连体网络通过映射不同输入图像对之间的相似性来增强CNN的判别能力。在提取的SIFT关键点不同尺度上学习的特征使用稀疏PCA编码，稀疏PCA的每个分量被赋予显著性分数，表示其在有效区分不同书写者方面的重要程度。最后，将对应于每个SIFT关键点的加权稀疏PCA组合以得到每位书写者的最终分类分数。所提算法在两个公开数据库（即IAM和CVL）上评估，与其他基于深度学习的算法相比能够取得有前景的结果。