CDistNet：感知多域字符距离以实现鲁棒文本识别
计算机视觉与模式识别
2023-08-29 v5 人工智能
摘要
基于Transformer的编码器-解码器框架在场景文本识别中日益流行，很大程度上因为它自然地整合了来自视觉和语义域的识别线索。然而，近期研究表明这两类线索并非总是一致对齐，因此在困难文本（例如具有罕见形状）中，特征和字符可能错位。为此，引入了字符位置等约束来缓解该问题。尽管取得了一定成功，视觉和语义仍被分别建模，且仅松散关联。本文中，我们提出一种称为多域字符距离感知（MDCDP）的新模块，以建立视觉与语义相关的位置嵌入。MDCDP使用位置嵌入遵循交叉注意力机制查询视觉和语义特征。两类线索被融合进位置分支，生成能良好感知字符间距与方向变化、字符语义亲和性以及联结两类信息线索的内容感知嵌入。它们被概括为多域字符距离。我们开发了CDistNet，其堆叠多个MDCDP以引导逐渐精确的距离建模。因此，即便呈现各种识别困难，特征-字符对齐也能良好建立。我们在十个具挑战性的公开数据集和自行创建的两系列增强数据集上验证了CDistNet。实验表明CDistNet极具竞争力。它不仅在标准基准中排名顶尖，而且在呈现严重文本变形、语言支持薄弱和罕见字符布局的真实与增强数据集上，以明显优势超越近期流行方法。代码见https://github.com/simplify23/CDistNet。
引用
@article{arxiv.2111.11011,
title = {CDistNet: Perceiving Multi-Domain Character Distance for Robust Text Recognition},
author = {Tianlun Zheng and Zhineng Chen and Shancheng Fang and Hongtao Xie and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2111.11011},
year = {2023}
}
备注
Paper accepted for publication at IJCV 2023