中文

ESTISR:面向真实场景的高效场景文本图像超分辨率适配

计算机视觉与模式识别 2023-06-06 v1

摘要

尽管场景文本图像超分辨率(STISR)在准确识别场景文本方面取得了显著改进,但先前的方法过度强调优化性能,而未对效率给予应有的关注——效率是确保 STISR-STR 流水线部署的关键因素。在这项工作中,我们提出了一种新颖的高效场景文本图像超分辨率(ESTISR)网络,用于资源受限的部署平台。ESTISR 的功能主要依赖于两个关键组件:基于 CNN 的特征提取器以及用于解码低分辨率图像的高效自注意力机制。我们设计了一种专为资源受限环境定制的重参数化倒残差块作为特征提取器。同时,我们提出了一种基于核方法的新颖自注意力机制——softmax shrinking。该创新技术具有线性复杂度,并自然地将具有判别性的低级特征融入自注意力结构中。在 TextZoom 上的大量实验表明,ESTISR 保持了较高的图像复原质量,并提升了低分辨率图像的 STR 准确率。此外,ESTISR 在实际运行时间和峰值内存消耗方面持续优于现有方法,同时在性能与效率之间实现了更好的权衡。

关键词

引用

@article{arxiv.2306.02443,
  title  = {ESTISR: Adapting Efficient Scene Text Image Super-resolution for Real-Scenes},
  author = {Minghao Fu and Xin Man and Yihan Xu and Jie Shao},
  journal= {arXiv preprint arXiv:2306.02443},
  year   = {2023}
}