超分辨率神经算子
计算机视觉与模式识别
2023-03-07 v1
摘要
我们提出超分辨率神经算子(SRNO),一种深度算子学习框架,可从低分辨率(LR)图像以任意尺度解析出高分辨率(HR)图像。将 LR–HR 图像对视为以不同网格尺寸逼近的连续函数,SRNO 学习对应函数空间之间的映射。从逼近理论视角,SRNO 首先将 LR 输入嵌入更高维潜表示空间,试图捕获充分的基函数,随后以核积分机制迭代逼近隐式图像函数,并经最终降维步骤在目标坐标处生成 RGB 表示。区分 SRNO 与先前连续超分辨率工作的关键特征为:1) 每层的核积分通过 Galerkin 型注意力高效实现,其在空间域具备非局部性质,因而有益于无网格连续体;2) 多层注意力架构允许动态潜基更新,这对超分辨率问题从 LR 图像“幻觉”出高频信息至关重要。实验表明,SRNO 在精度与运行时间上均优于现有连续超分辨率方法。我们的代码见 https://github.com/2y7c3/Super-Resolution-Neural-Operator
引用
@article{arxiv.2303.02584,
title = {Super-Resolution Neural Operator},
author = {Min Wei and Xuesong Zhang},
journal= {arXiv preprint arXiv:2303.02584},
year = {2023}
}
备注
Accepted by CVPR 2023