利用循环网络解耦退化以实现屏下摄像头视频复原
计算机视觉与模式识别
2024-03-12 v1
摘要
屏下摄像头（UDC）系统是全屏显示设备的基础，其镜头安装在显示屏下方。用于显示的发光二极管像素阵列会对入射光产生衍射和衰减，导致随着光强变化出现各种退化现象。与将不同退化因素同等对待的一般视频复原不同，UDC 系统的视频复原更具挑战性，因为它需要在保持时间一致性的同时去除随时间变化的多种退化。本文介绍了一种专为 UDC 系统设计的新型视频复原网络 DRNet。该网络采用一组解耦注意力模块（Decoupling Attention Modules, DAM），有效分离各种视频退化因素。具体而言，我们提出了一种软掩码生成功能，根据不同强度入射光产生的衍射，将每一帧公式化为眩光和 haze，随后利用提出的眩光和 haze 去除组件，借助长短期特征学习来处理各自的退化。这种设计为消除 UDC 系统中的各类退化提供了针对性且有效的解决方案。我们进一步将设计扩展至多尺度，以克服长距离视频中经常发生的退化尺度变化问题。为展示 DRNet 的优越性，我们通过收集 HDR 视频并利用商用 UDC 系统测量的点扩散函数生成真实退化视频，提出了一个大规模 UDC 视频基准。大量的定量和定性评估证明了 DRNet 优于其他最先进的视频复原和 UDC 图像复原方法。代码地址：https://github.com/ChengxuLiu/DDRNet.git
引用
@article{arxiv.2403.05660,
title = {Decoupling Degradations with Recurrent Network for Video Restoration in Under-Display Camera},
author = {Chengxu Liu and Xuan Wang and Yuanting Fan and Shuai Li and Xueming Qian},
journal= {arXiv preprint arXiv:2403.05660},
year = {2024}
}
备注
AAAI 2024