面向屏下摄像头的模块化退化仿真与复原
图像与视频处理
2022-09-26 v1 计算机视觉与模式识别
摘要
屏下摄像头（UDC）为全面屏智能手机提供了一种优雅的解决方案。然而，由于传感器位于显示屏下方，UDC 所拍摄图像遭受严重退化。尽管该问题可由图像复原网络处理，这些网络仍需大规模图像对用于训练。为此，我们提出一种称为 MPGNet 的模块化网络，采用生成对抗网络（GAN）框架训练以仿真 UDC 成像。具体而言，我们注意到 UDC 成像退化过程包含亮度衰减、模糊与噪声污染。因此我们以特征相关的模块化网络对各退化建模，并将所有模块化网络级联构成生成器。结合像素级判别器与监督损失，我们可训练生成器仿真 UDC 成像退化过程。此外，我们提出一种称为 DWFormer 的 Transformer 风格网络用于 UDC 图像复原。出于实用目的，我们使用深度可分离卷积替代多头自注意力以聚合局部空间信息。并且，我们提出一种新颖的通道注意力模块以聚合全局信息，这对亮度恢复至关重要。我们在 UDC 基准上开展评估，我们的方法分别超越先前最先进模型 1.23 dB（P-OLED 赛道）与 0.71 dB（T-OLED 赛道）。
引用
@article{arxiv.2209.11455,
title = {Modular Degradation Simulation and Restoration for Under-Display Camera},
author = {Yang Zhou and Yuda Song and Xin Du},
journal= {arXiv preprint arXiv:2209.11455},
year = {2022}
}