探索图像超分辨率中的低通滤波行为

深度神经网络在图像超分辨率(ISR)中显示出显著优于插值等传统方法的优势，但常被批评为“黑箱”，不像具有坚实数学基础的传统方法那样可解释。本文尝试从信号处理领域的理论来解释深度神经网络在ISR中的行为。首先，我们报告了一种令人惊讶的现象，称为“sinc 现象”，即当将脉冲输入喂给神经网络时发生。基于此观察，我们提出了一种名为混合响应分析(HyRA)的方法，用于分析神经网络在ISR任务中的行为。具体而言，HyRA 将神经网络分解为线性系统与非线性系统的并联连接，表明线性系统功能相当于低通滤波器，而非线性系统则注入高频信息。最后，为了量化注入的高频信息，我们引入了一种用于图像到图像任务的指标，称为频谱分布相似性(FSDS)。FSDS反映了不同频率成分的分布相似性，可以捕捉到传统指标可能忽视的细微差别。本论文的代码、视频和原始实验结果可在：https://github.com/RisingEntropy/LPFInISR 查阅。