基于离线-在线多模态深度网络的印度手写文字识别
计算机视觉与模式识别
2019-10-17 v3
摘要
本文提出一种在训练阶段仅使用字符级数据的词级印度文字识别新方法。在第 I 节中概述了使用字符级数据进行训练的优势。我们的方法使用多模态深度网络,将数据的离线和在线两种模态同时作为输入,以联合探索两种模态的信息用于文字识别任务。我们将任一模态的手写数据作为输入,并通过模态间转换生成相反模态。此后,我们将此离线-在线模态对输入到我们的网络。因此,在利用两种模态信息优势的同时,它可作为同时用于离线和在线文字识别的单一框架,从而免除了为各模态设计两个独立文字识别模块的需要。另一主要贡献是,我们提出了一种新颖的条件多模态融合方案来结合离线和在线模态的信息,该方案考虑了输入我们网络的数据的真实来源,从而自适应地融合。在一个包含英文和六种印度文字的数据集上进行了详尽实验。我们提出的框架以明显优势优于基于传统分类器及手工特征的方法以及基于深度学习的方法。大量实验表明,仅使用字符级训练数据即可在我们的框架中取得与使用词级数据的传统训练相当的当前最优性能。
引用
@article{arxiv.1802.08568,
title = {Indic Handwritten Script Identification using Offline-Online Multimodal Deep Network},
author = {Ayan Kumar Bhunia and Subham Mukherjee and Aneeshan Sain and Ankan Kumar Bhunia and Partha Pratim Roy and Umapada Pal},
journal= {arXiv preprint arXiv:1802.08568},
year = {2019}
}
备注
Accepted in Information Fusion, Elsevier