OSRT：基于失真感知 Transformer 的全景图像超分辨率
图像与视频处理
2023-02-10 v2 计算机视觉与模式识别
摘要
全景图像（ODI）因沉浸式体验而获得大量研究关注。尽管 ODI 需要极高分辨率以捕捉整个场景的细节，但大多数 ODI 分辨率不足。先前方法试图通过对等距柱状投影（ERP）图像进行图像超分辨率（SR）来解决此问题。然而，它们在退化过程中忽略了 ERP 的几何特性，且其模型难以泛化到真实 ERP 图像。本文中，我们提出鱼眼下采样，其模拟真实世界成像过程并合成更真实的低分辨率样本。随后我们设计了失真感知 Transformer（OSRT）以连续且自适应地调制 ERP 失真。无需繁琐过程，OSRT 在 PSNR 上以约 0.2dB 优于先前方法。此外，我们提出一种便捷的数据增强策略，从普通图像合成伪 ERP 图像。该简单策略可缓解大网络的过拟合问题并显著提升 ODISR 性能。大量实验证明了我们 OSRT 的 SOTA 性能。代码与模型将发布于 https://github.com/Fanghua-Yu/OSRT。
引用
@article{arxiv.2302.03453,
title = {OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer},
author = {Fanghua Yu and Xintao Wang and Mingdeng Cao and Gen Li and Ying Shan and Chao Dong},
journal= {arXiv preprint arXiv:2302.03453},
year = {2023}
}
备注
main paper + supplement