连续人脸运动去模糊
计算机视觉与模式识别
2022-07-15 v1
摘要
我们提出了一种新颖的连续人脸运动去模糊框架，通过时刻控制因子从单张运动模糊人脸图像中恢复其蕴含的连续清晰时刻潜像。尽管运动模糊图像是曝光时间内连续清晰时刻的累积信号，现有大多数单图像去模糊方法旨在使用多个网络和训练阶段恢复固定数目的帧。为解决此问题，我们提出了一种基于 GAN 的连续人脸运动去模糊网络（CFMD-GAN），其作为一种新颖框架，利用单个网络和单个训练阶段恢复单张运动模糊人脸图像中蕴含的连续时刻。为稳定网络训练，我们利用人脸的领域特定知识，通过基于人脸运动的重排序过程（FMR）以所定顺序训练生成器恢复连续时刻。此外，我们提出一种辅助回归器，通过估计连续清晰时刻来帮助生成器生成更精确的图像。进一步，我们引入一种控制自适应（ContAda）模块，作为控制因子的函数执行空间可变形卷积与通道注意力。在 300VW 数据集上的大量实验表明，所提框架通过改变时刻控制因子可生成任意数量的连续输出帧。与采用相同 300VW 训练集训练的最近单到单图像去模糊网络相比，所提方法在恢复中心清晰帧的感知指标（包括 LPIPS、FID 和 Arcface 身份距离）上表现出优越性能。所提方法在定性与定量比较上均优于现有单到视频去模糊方法。
引用
@article{arxiv.2207.06626,
title = {Continuous Facial Motion Deblurring},
author = {Tae Bok Lee and Sujy Han and Yong Seok Heo},
journal= {arXiv preprint arXiv:2207.06626},
year = {2022}
}