基于高分辨率知识迁移的单阶段低分辨率文本识别
计算机视觉与模式识别
2023-08-08 v1
摘要
从低分辨率（LR）文本图像中识别字符由于低质量图像中的信息缺失以及噪声和模糊而构成重大挑战。当前低分辨率文本识别（LTR）的解决方案通常依赖两阶段流程，包括作为第一阶段的超分辨率以及作为第二阶段的识别。尽管该流程直观直接，但其必须使用额外的超分辨率网络，导致训练和测试效率低下。此外，第二阶段的识别精度严重依赖第一阶段的重建质量，导致效果不佳。在本工作中，我们试图从一新视角应对这些挑战：通过从高分辨率迁移知识使识别器适应低分辨率输入。受此思想指导，我们提出一种高效且有效的知识蒸馏框架以实现多级知识迁移。具体而言，提出视觉聚焦损失以通过缩小分辨率差距和聚焦字符区域来提取字符位置知识，采用语义对比损失以借助对比学习利用上下文语义知识，而软 logits 损失则促进来自软教师标签的局部词级与全局序列级学习。大量实验表明，所提单阶段流程在效果与效率上显著优于基于超分辨率的两阶段框架，并具备良好的鲁棒性。代码见 https://github.com/csguoh/KD-LTR。
引用
@article{arxiv.2308.02770,
title = {One-stage Low-resolution Text Recognition with High-resolution Knowledge Transfer},
author = {Hang Guo and Tao Dai and Mingyan Zhu and Guanghao Meng and Bin Chen and Zhi Wang and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2308.02770},
year = {2023}
}
备注
Accepted as the ACM MM 2023 paper