OPDN：用于全景图像超分辨率的全向位置感知可变形网络
图像与视频处理
2023-04-27 v1 计算机视觉与模式识别
摘要
360°全景图像因其沉浸式与交互式体验（尤其在AR/VR应用中）而受到研究关注。然而，由于使用与平面图像拍摄相同传感器尺寸的鱼眼镜头捕获，它们存在角分辨率较低的问题。为解决上述问题，我们提出了一个用于360°全景图像超分辨率的两阶段框架。第一阶段采用两个分支：模型A融合全向位置感知可变形块（OPDB）与傅里叶上采样，模型B在模型A基础上增加空间频率融合模块（SFF）。模型A旨在增强360°图像位置信息的特征提取能力，而模型B进一步关注360°图像的高频信息。第二阶段基于带像素反洗牌（pixel unshuffle）操作的模型A结构进行同分辨率增强。此外，我们从YouTube收集数据以提升transformer的拟合能力，并使用退化网络生成伪低分辨率图像。我们提出的方法取得了优越性能，并赢得了NTIRE 2023全景图像超分辨率挑战赛。
引用
@article{arxiv.2304.13471,
title = {OPDN: Omnidirectional Position-aware Deformable Network for Omnidirectional Image Super-Resolution},
author = {Xiaopeng Sun and Weiqi Li and Zhenyu Zhang and Qiufang Ma and Xuhan Sheng and Ming Cheng and Haoyu Ma and Shijie Zhao and Jian Zhang and Junlin Li and Li Zhang},
journal= {arXiv preprint arXiv:2304.13471},
year = {2023}
}
备注
Accepted to CVPRW 2023