考虑散射效应的屏下摄像头图像复原
计算机视觉与模式识别
2023-08-09 v1 图像与视频处理
摘要
屏下摄像头 (UDC) 为消费者提供了无任何凹口或打孔遮挡的全屏视觉体验。然而，显示屏的半透明特性不可避免地给 UDC 图像带来严重退化。本文中，我们针对 UDC 图像复原问题，具体考虑由显示屏引起的散射效应。我们将显示屏视为一块均匀散射介质，显式地对散射效应建模。借助散射效应的物理模型，我们改进了用于图像合成的图像形成流程，以构建带有真值的逼真 UDC 数据集。为抑制最终 UDC 图像恢复中的散射效应，设计了一个双分支复原网络。更具体地，散射分支利用通道自注意力 (channel-wise self-attention) 的全局建模能力从退化图像中估计散射效应参数。而图像分支则利用 CNN 的局部表示优势，在散射分支的隐式引导下恢复清晰场景。在真实世界与合成数据上进行了大量实验，证明了所提方法相对于最先进 UDC 复原技术的优越性。源代码与数据集可在 \url{https://github.com/NamecantbeNULL/SRUDC} 获取。
引用
@article{arxiv.2308.04163,
title = {Under-Display Camera Image Restoration with Scattering Effect},
author = {Binbin Song and Xiangyu Chen and Shuning Xu and Jiantao Zhou},
journal= {arXiv preprint arXiv:2308.04163},
year = {2023}
}
备注
Accepted to ICCV2023