ITSRN++：更强更优的连续屏幕内容图像超分辨率隐式Transformer网络
计算机视觉与模式识别
2022-10-18 v1 多媒体
摘要
如今，在线屏幕共享与远程协作正变得无处不在。然而，屏幕内容在传输过程中可能被下采样与压缩，而在接收端可能显示于大屏幕上或用户会放大以观察细节。因此，亟需开发一种强大且有效的屏幕内容图像 (SCI) 超分辨率 (SR) 方法。我们观察到权重共享的上采样器（如反卷积或像素重排）可能损害 SCI 中锐利细薄的边缘，且固定倍率的上采样器难以灵活适配各种尺寸的屏幕。为解决该问题，我们提出一种用于连续 SCI SR 的隐式 Transformer 网络（称为 ITSRN++）。具体而言，我们提出一种基于调制的 Transformer 作为上采样器，其通过周期非线性函数在离散空间调制像素特征，以生成连续像素的特征。为增强提取的特征，我们进一步提出一种增强型 Transformer 作为特征提取主干，其中卷积与注意力分支并行使用。此外，我们构建了大规模 SCI2K 数据集以促进 SCI SR 的研究。在九个数据集上的实验结果表明，所提方法在 SCI SR 上取得了最先进的性能（在 x3 SR 上以 0.74 dB 优于 SwinIR），并且对自然图像 SR 也同样有效。我们的代码与数据集将在本工作被接收后发布。
引用
@article{arxiv.2210.08812,
title = {ITSRN++: Stronger and Better Implicit Transformer Network for Continuous Screen Content Image Super-Resolution},
author = {Sheng Shen and Huanjing Yue and Jingyu Yang and Kun Li},
journal= {arXiv preprint arXiv:2210.08812},
year = {2022}
}
备注
14pages,10 figures