HiREN：通过提升监督质量实现更优场景文本图像超分辨率
计算机视觉与模式识别
2023-08-01 v1
摘要
场景文本图像超分辨率（STISR）是从低分辨率场景图像中进行文本识别的一项重要预处理技术。目前，已有多种方法被提出以从高分辨率（HR）图像中提取文本特定信息来监督STISR模型训练。然而，由于人工拍摄HR图像时存在不可控因素（如拍摄设备、对焦和环境等），HR图像的质量无法得到保证，这不可避免地影响了STISR性能。观察到HR图像的质量问题，本文提出一种新思路，通过先增强HR图像质量、再将增强后的HR图像作为监督来进行STISR，从而提升STISR效果。具体而言，我们开发了一种新的STISR框架，称为高分辨率增强（HiREN），其由两个分支和一个质量估计模块组成。第一个分支用于恢复低分辨率（LR）图像，另一个为HR质量增强分支，旨在基于HR图像生成高质量（HQ）文本图像，从而为LR图像提供更准确的监督。由于从HQ到HR的退化可能多样，且HQ图像生成缺乏像素级监督，我们设计了一个核引导增强网络来处理各种退化，并利用识别器的反馈和文本级标注作为弱监督信号来训练HR增强分支。随后，采用质量估计模块评估HQ图像的质量，通过为每个图像的损失加权来抑制错误的监督信息。在TextZoom上的大量实验表明，HiREN可与大多数现有STISR方法良好协作，并显著提升其性能。
引用
@article{arxiv.2307.16410,
title = {HiREN: Towards Higher Supervision Quality for Better Scene Text Image Super-Resolution},
author = {Minyi Zhao and Yi Xu and Bingjia Li and Jie Wang and Jihong Guan and Shuigeng Zhou},
journal= {arXiv preprint arXiv:2307.16410},
year = {2023}
}