深度傅里叶上采样
计算机视觉与模式识别
2022-10-12 v1
摘要
现有卷积神经网络广泛采用空间下采样/上采样进行多尺度建模。然而，空间上采样算子（例如，插值、转置卷积和反池化）严重依赖局部像素注意力，无法探索全局依赖关系。相比之下，根据谱卷积定理，傅里叶域服从全局建模的性质。与利用局部相似性进行上采样的空间域不同，傅里叶域中的上采样更具挑战性，因为它不遵循这种局部性质。在本研究中，我们提出了一种理论上可靠的深度傅里叶上采样来解决这些问题。我们重新审视了空间域和傅里叶域之间的关系，并揭示了傅里叶域中不同分辨率特征上的变换规则，这为 FourierUp 的设计提供了关键见解。FourierUp 作为一个通用算子，由三个关键组件组成：二维离散傅里叶变换、傅里叶维度增加规则和二维逆傅里叶变换，可以直接集成到现有网络中。在多个计算机视觉任务（包括目标检测、图像分割、图像去雨、图像去雾和引导图像超分辨率）上的大量实验表明，引入我们的 FourierUp 获得了一致的性能提升。
引用
@article{arxiv.2210.05171,
title = {Deep Fourier Up-Sampling},
author = {Man Zhou and Hu Yu and Jie Huang and Feng Zhao and Jinwei Gu and Chen Change Loy and Deyu Meng and Chongyi Li},
journal= {arXiv preprint arXiv:2210.05171},
year = {2022}
}
备注
This paper was accepted by NeurIPS 2022. Project Paper:https://li-chongyi.github.io/FourierUp_files/