基于GAN的人脸修复改进技术
计算机视觉与模式识别
2024-10-30 v1
摘要
本文给出了若干用于基于生成对抗网络（GAN）的人脸语义修复的架构与优化方案。当前的基准模型易受基于GAN修复的非凸优化准则初始解的影响。我们提出一个端到端可训练的参数化网络，从良好的初始解确定性出发，从而获得更具照片真实感的重建，并显著加快优化速度。我们首次展示了如何通过将基于GAN的单图像修复模型高效扩展到序列：a)利用循环神经网络学习初始化一个时间窗口的解，以及b)在迭代优化期间施加时间平滑损失以尊重序列在时间维度上的冗余性。我们在CelebA图像与伪序列以及VidTIMIT数据集的真实视频上进行了全面的实证评估。所提方法在重建质量上显著优于当前基于GAN的最优方法，同时提速超过15。我们还表明，即便训练时未显式使用任何人脸识别模块，我们所提模型在序列中能更好地保持人脸身份。
引用
@article{arxiv.1810.08774,
title = {Improved Techniques for GAN based Facial Inpainting},
author = {Avisek Lahiri and Arnav Jain and Divyasri Nadendla and Prabir Kumar Biswas},
journal= {arXiv preprint arXiv:1810.08774},
year = {2024}
}
备注
First two authors contributed equally. This work has been submitted to the IEEE for possible publication