面向全景图像超分辨率的多层次畸变感知可变形网络
计算机视觉与模式识别
2025-12-22 v1
摘要
随着增强现实和虚拟现实应用的流行，针对全景图像（ODI）的图像处理受到越来越多的关注。全景图像超分辨率（ODISR）是提升 ODIs 视觉质量的有前景的技术。在进行超分辨率处理之前，ODIs 通常通过等距矩形投影（ERP）从球面投射到平面上。这种投影在 ERP 图像中引入纬度相关的几何畸变：在赤道附近畸变最小，但在极地地区畸变变得严重，此时图像内容被拉伸到更大的区域。然而，现有的 ODISR 方法的采样范围和特征提取能力有限，难以捕获大范围内的畸变模式。为此，我们提出一种 novel 的多层次畸变感知可变形网络（MDDN）用于 ODISR，旨在扩大采样范围和感受野。具体而言，MDDN 的特征提取器由三个平行分支组成：一个可变形注意力机制（作为膨胀率为 1 的路径）和两个膨胀率分别为 2 和 3 的可变形卷积。该架构扩展了采样范围，以捕获更广区域内的畸变模式，生成密集且全面的特征，有效地捕获 ERP 图像中的几何畸变。来自这些可变形特征提取器提取的表示在多层次特征融合模块中进行自适应融合。此外，为减少计算成本，应用低秩分解策略对膨胀可变形卷积进行处理。在公开数据集上的大量实验表明，MDDN 在 ODISR 任务中优于现有 SOTA 方法，凸显了其在 ODISR 中的有效性与优越性。
引用
@article{arxiv.2512.17343,
title = {Multi-level distortion-aware deformable network for omnidirectional image super-resolution},
author = {Cuixin Yang and Rongkang Dong and Kin-Man Lam and Yuhang Zhang and Guoping Qiu},
journal= {arXiv preprint arXiv:2512.17343},
year = {2025}
}