中文

UltraSR:空间编码是基于隐式图像函数的任意尺度超分辨率中被遗漏的关键

计算机视觉与模式识别 2022-07-06 v2

摘要

近期 NeRF 及其他相关隐式神经表示方法的成功为连续图像表示开辟了新路径,其中像素值不再需要从存储的离散 2D 数组中查找,而是可以从连续空间域上的神经网络模型推断。尽管近期工作 LIIF 已证明此类新方法能在任意尺度超分辨率任务上取得良好性能,但其放大图像常因高频纹理预测不准确而呈现结构失真。在本工作中,我们提出 UltraSR,一种基于隐式图像函数的简单而有效的新网络设计,其中我们将空间坐标与周期编码深度整合进隐式神经表示。通过大量实验和消融研究,我们表明空间编码是迈向下一代高性能隐式图像函数所缺失的关键。我们的 UltraSR 在所有超分辨率尺度下相对于先前最先进方法在 DIV2K 基准上确立了新的 SOTA 性能。UltraSR 在其他标准基准数据集上也取得了优越性能,在几乎所有实验中均优于先前工作。

关键词

引用

@article{arxiv.2103.12716,
  title  = {UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution},
  author = {Xingqian Xu and Zhangyang Wang and Humphrey Shi},
  journal= {arXiv preprint arXiv:2103.12716},
  year   = {2022}
}