学习对运动模糊人脸进行去模糊与视角旋转
计算机视觉与模式识别
2021-12-15 v1 人工智能
图形学
摘要
我们提出了一种新任务的解决方案：从单张人脸运动模糊图像中渲染出新视角下的清晰视频。我们的方法通过在三个大型数据集（公开可用的 FFHQ 和 300VW，以及我们构建的新数据集 Bern 多视角人脸数据集（BMFD））上联合训练，隐式地学习人脸的几何与运动，从而处理人脸模糊的复杂性。前两个数据集提供了丰富的人脸多样性，使我们的模型具有更好的泛化能力。BMFD 则使我们能够引入多视角约束，这对于从新相机视角合成清晰视频至关重要。它由多个视角下同步的高帧率视频组成，拍摄了若干受试者展现的广泛面部表情。我们利用高帧率视频通过平均来模拟真实的运动模糊。得益于该数据集，我们训练了一个神经网络，从单张图像和对应的人脸注视方向重建出 3D 视频表示。然后，我们将相对于估计注视方向和模糊图像的相机视角，以及模糊图像作为输入，送入编码器-解码器网络，以生成具有新相机视角的清晰帧视频。我们在多视角数据集的测试受试者和 VIDTIMIT 上展示了我们的方法。
引用
@article{arxiv.2112.07599,
title = {Learning to Deblur and Rotate Motion-Blurred Faces},
author = {Givi Meishvili and Attila Szabó and Simon Jenni and Paolo Favaro},
journal= {arXiv preprint arXiv:2112.07599},
year = {2021}
}
备注
British Machine Vision Conference 2021