UDC-UNet：基于 U 型动态网络的下置摄像头图像复原
图像与视频处理
2022-09-13 v2 计算机视觉与模式识别
摘要
下置摄像头（UDC）已被广泛采用以帮助智能手机实现全面屏显示。然而，由于屏幕不可避免地影响光传播过程，UDC 系统所捕获的图像通常含有 flare、 haze、模糊与噪声。尤其在高动态范围（HDR）场景中，UDC 图像中的 flare 与模糊会严重恶化用户体验。本文提出一种新深度模型，即 UDC-UNet，以在已知点扩散函数（PSF）的 HDR 场景下解决 UDC 图像复原问题。在 UDC 系统点扩散函数（PSF）已知的前提下，我们将 UDC 图像复原视为非盲图像复原问题，并提出一种新颖的基于学习的方法。我们的网络由三部分组成：利用多尺度信息的 U 型基础网络、执行空间变化调制的调节分支，以及提供给定 PSF 先验知识的核分支。依据 HDR 数据特性，我们额外设计色调映射损失以稳定网络优化并获得更好视觉质量。实验结果表明，所提 UDC-UNet 在定量与定性比较中均优于当前最优（SOTA）方法。我们的方法在 MIPI 挑战赛 UDC 图像复原赛道获得第二名。代码将公开可用。
引用
@article{arxiv.2209.01809,
title = {UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network},
author = {Xina Liu and Jinfan Hu and Xiangyu Chen and Chao Dong},
journal= {arXiv preprint arXiv:2209.01809},
year = {2022}
}