几何失真引导的全景图像超分辨 Transformer

随着虚拟和增强现实应用的流行，全景图像（ODI）超分辨率问题日益受到重视。与在平面上形成的二维平面图像不同，ODI 被投影到球面表面上。将已建立的图像超分辨方法应用于 ODI，需要对 ODI 进行等距矩形投影（ERP）将其映射到平面上。ODI 超分辨率需要考虑 ERP 造成的几何失真。然而，仅利用 ERP 图像中 limited range 的像素，而不考虑这种几何失真，之前基于深度学习的方法可能会容易错失重建所需的自相似纹理。在本文中，我们提出了一种 novel 的几何失真引导的全景图像超分辨 Transformer（GDGT-OSR）。具体而言，提出了一种由失真调制矩形窗口自注意力机制，集成了可变形自注意力，以更好地感知失真，从而涉及更多自相似纹理。通过利用纬度处失真的可变性，产生引导信号。此外，我们提出了一种动态特征聚合方案，以适应性方式融合来自不同自注意力模块的特征。我们在公开数据集上进行了大量实验，表明新的 GDGT-OSR 在已有文献方法方面表现更优。