从非对齐数据生成对齐伪监督用于屏下摄像头图像复原
计算机视觉与模式识别
2023-04-13 v1 图像与视频处理
摘要
由于难以收集大规模且完美对齐的成对训练数据用于屏下摄像头（UDC）图像复原，先前方法求助于基于监视器的成像系统或基于仿真的方法，牺牲了数据真实性并引入了域间隙。在本工作中，我们重新审视用于训练数据收集的经典立体设置——使用一台 UDC 与一台标准相机捕获同一场景的两幅图像。核心思想是将高质量参考图像中的细节“复制”并“粘贴”到 UDC 图像上。尽管能够生成真实的训练对，该设置易因透视与景深变化产生空间错位。UDC 与正常图像间巨大的域差异（此为 UDC 复原所特有）进一步加剧了该问题。本文中，我们通过一个新颖的基于 Transformer 的框架来缓解非平凡的域差异与空间错位，该框架为相应 UDC 输入生成对齐良好且高质量的目标数据。这得益于两个精心设计的组件，即域对齐模块（DAM）与几何对齐模块（GAM），它们促使 UDC 与正常视图间对应关系的鲁棒且准确发现。大量实验表明，高质量且对齐良好的伪 UDC 训练对有益于训练鲁棒的复原网络。代码与数据集见 https://github.com/jnjaby/AlignFormer。
引用
@article{arxiv.2304.06019,
title = {Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera},
author = {Ruicheng Feng and Chongyi Li and Huaijin Chen and Shuai Li and Jinwei Gu and Chen Change Loy},
journal= {arXiv preprint arXiv:2304.06019},
year = {2023}
}
备注
Accepted by CVPR 2023