Swin2SR：用于压缩图像超分辨率与复原的 SwinV2 Transformer
计算机视觉与模式识别
2022-09-26 v1 图像与视频处理
摘要
压缩在通过带宽受限系统（如流媒体服务、虚拟现实或视频游戏）高效传输和存储图像与视频方面起着重要作用。然而，压缩不可避免地会导致伪影和原始信息的丢失，这可能严重降低视觉质量。出于这些原因，压缩图像的质量增强已成为一个热门的研究课题。虽然大多数最先进的图像复原方法基于卷积神经网络，但其他基于 Transformer 的方法（如 SwinIR）在这些任务上表现出令人印象深刻的性能。在本文中，我们探索新颖的 Swin Transformer V2，以改进 SwinIR 用于图像超分辨率，特别是压缩输入场景。使用该方法，我们可以解决训练 Transformer 视觉模型中的主要问题，如训练不稳定性、预训练与微调之间的分辨率差距，以及对数据的渴求。我们在三个代表性任务上进行了实验：JPEG 压缩伪影去除、图像超分辨率（经典与轻量）以及压缩图像超分辨率。实验结果表明，我们的方法 Swin2SR 能够改善 SwinIR 的训练收敛性和性能，并且是“AIM 2022 压缩图像与视频超分辨率挑战赛”的前五名解决方案。
引用
@article{arxiv.2209.11345,
title = {Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration},
author = {Marcos V. Conde and Ui-Jin Choi and Maxime Burchi and Radu Timofte},
journal= {arXiv preprint arXiv:2209.11345},
year = {2022}
}
备注
European Conference on Computer Vision (ECCV 2022) Workshops