暴雨人脸图像复原：融合物理退化模型与面部部件引导对抗学习
计算机视觉与模式识别
2022-04-19 v1
摘要
随着用于视觉监控的智能闭路电视（CCTV）近期增多，一种集成了分辨率转换与合成雨模型的新图像退化问题应运而生。例如，在暴雨中，由 CCTV 从远处捕获的人脸图像在可见度与分辨率上均出现显著劣化。与传统图像退化模型（IDM，如去雨与超分辨率）不同，本研究处理一种称为尺度感知暴雨模型的新 IDM，并提出一种从低分辨率暴雨人脸图像（LRHR-FI）复原高分辨率人脸图像（HR-FI）的方法。为此，提出了一个两阶段网络。第一阶段生成低分辨率人脸图像（LR-FI），从 LRHR-FI 中去除暴雨以改善可见度。为此，构建了一个可解释的基于 IDM 的网络来预测物理参数，如雨纹、透射图与大气光。此外，通过评估图像重建损失来增强对物理参数的估计。第二阶段旨在从第一阶段输出的 LR-FI 重建 HR-FI，应用面部部件引导对抗学习（FCGAL）以增强面部结构表达。为聚焦于信息性面部特征并强化眼睛、鼻子等面部部件的真实感，为 FCGAL 设计了人脸解析引导的生成器与面部局部判别器。实验结果验证了所提出的基于物理网络设计与 FCGAL 的方法可同时去除暴雨并提升分辨率与可见度。此外，所提出的暴雨人脸图像复原在性能上优于暴雨去除、图像到图像翻译与超分辨率的 SOTA 模型。
引用
@article{arxiv.2204.08307,
title = {Heavy Rain Face Image Restoration: Integrating Physical Degradation Model and Facial Component Guided Adversarial Learning},
author = {Chang-Hwan Son and Da-Hee Jeong},
journal= {arXiv preprint arXiv:2204.08307},
year = {2022}
}