面向屏下相机的深度视频复原
计算机视觉与模式识别
2023-09-12 v1
摘要
由屏下相机（UDC）捕获的图像或视频遭受严重的退化，如饱和度退化和色彩偏移。尽管 UDC 复原是一项关键任务，现有 UDC 复原工作仅关注图像。UDC 视频复原（UDC-VR）尚未被学界探索。本工作中，我们首先提出一种基于 GAN 的生成流水线来模拟真实的 UDC 退化过程。利用该流水线，我们构建了首个大规模 UDC 视频复原数据集 PexelsUDC，其包含两个子集 PexelsUDC-T 和 PexelsUDC-P，分别对应 UDC 的不同显示屏。利用所提数据集，我们对现有视频复原方法进行了广泛的基准研究，并观察到它们在 UDC-VR 任务上的局限性。为此，我们提出了一种新颖的基于 transformer 的基线方法，可自适应增强退化视频。该方法的关键组件为：带有局部感知 transformer 的空间分支、嵌入时序 transformer 的时间分支，以及时空融合模块。这些组件驱动模型充分利用时空信息用于 UDC-VR。大量实验表明，我们的方法在 PexelsUDC 上达到了最先进的性能。该基准与基线方法有望推动学界 UDC-VR 的进展，并将公开。
引用
@article{arxiv.2309.04752,
title = {Deep Video Restoration for Under-Display Camera},
author = {Xuanxi Chen and Tao Wang and Ziqian Shao and Kaihao Zhang and Wenhan Luo and Tong Lu and Zikun Liu and Tae-Kyun Kim and Hongdong Li},
journal= {arXiv preprint arXiv:2309.04752},
year = {2023}
}