积分空间与频率信息以提升底屏摄像头图像恢复

底屏摄像头（Under-Display Camera, UDC）将数码相机镜头安装在显示面板下方。然而，UDC 引入了复杂的退化现象，包括噪声、模糊、透光率下降以及晕影。尽管已取得显著进展，但以往研究主要关注消除空间域中的衍射，几乎未探讨其在频率域的潜力。必须有效地考虑空间域与频率域。例如，针对噪声和模糊，可利用局部信息（如 CNN 内核）；而解决晕影则可能需要利用全局信息（如频率域）。本文在傅里叶空间重新审视 UDC 的退化现象，发现其内在的频率先验可暗示晕影的存在。基于此，我们提出一种新型多层级深度神经网络架构，称为 SFIM。它通过整合局部信息与全局信息（即图像中所有点的总体贡献），高效恢复 UDC 失真图像。该架构利用 CNN 捕获局部信息，采用 FFT 基础模型捕获全局信息。SFIM 包含空间域模块（SDB）、频率域模块（FDB）以及基于注意力的多层级集成模块（AMIB）。具体而言，SDB 更关注纹理细节，如噪声和模糊；FDB 强调大范围晕影不规则纹理损失；AMIB 实现跨域的有效交互。通过严格的定量与定性评估，我们在三个 UDC 数据集上证明了 SFIM 在现有方法上的优异性能。