基于字典引导 Transformer 的屏下摄像头盲脸修复方法
计算机视觉与模式识别
2023-12-04 v2 图像与视频处理
摘要
通过将前置摄像头隐藏于显示面板下方，屏下摄像头（UDC）为用户提供了全面屏体验。然而，受显示器特性影响，UDC 所拍摄图像存在显著的质量退化。已有方法被提出以应对 UDC 图像修复并取得进展。但目前仍缺乏针对 UDC 人脸图像修复的专用方法与数据集，而这可能是 UDC 场景中最常见的问题。为此，考虑到 UDC 成像过程中的色彩滤波、亮度衰减与衍射，我们提出一种两阶段网络 UDC 退化建模网络（UDC-DMNet），通过对 UDC 成像过程建模来合成 UDC 图像。随后我们利用 UDC-DMNet 与来自 FFHQ 和 CelebA-Test 的高质量人脸图像，构建用于 UDC 人脸修复的训练数据集 FFHQ-P/T 与测试数据集 CelebA-Test-P/T。我们提出一种新颖的字典引导 Transformer 网络 DGFormer。在修复中引入人脸部件字典与 UDC 图像特性，使 DGFormer 能够处理 UDC 场景下的盲脸修复。实验表明，我们的 DGFormer 与 UDC-DMNet 取得了最先进（SOTA）性能。
引用
@article{arxiv.2308.10196,
title = {Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer},
author = {Jingfan Tan and Xiaoxu Chen and Tao Wang and Kaihao Zhang and Wenhan Luo and Xiaocun Cao},
journal= {arXiv preprint arXiv:2308.10196},
year = {2023}
}
备注
To appear in IEEE TCSVT