E2F-Net：基于 StyleGAN 潜在空间的眼部到面部修复
计算机视觉与模式识别
2024-03-20 v1 人工智能
摘要
面部修复技术旨在恢复面部图像中缺失或损坏的区域，对于遮挡场景下的人脸识别和低质量捕获图像的图像分析等应用至关重要。该过程不仅需要生成逼真的视觉效果，还要保留个体身份特征。本文旨在通过提出一种新的基于生成对抗网络（GAN）的模型——眼部到面部网络（E2F-Net），根据眼周区域（眼部到面部）修复完整面部。所提出的方法使用两个专用编码器从眼周区域提取身份和非身份特征。然后将提取的特征映射到预训练 StyleGAN 生成器的潜在空间，以利用其最先进的性能及其丰富、多样且富有表现力的潜在空间，而无需任何额外训练。我们进一步改进 StyleGAN 输出，使用一种新的 GAN 反演优化技术在潜在空间中寻找最优编码。我们的 E2F-Net 仅需极少的训练过程，从而降低了计算复杂度，这是其次要优势。通过大量实验，我们表明，尽管训练和监督工作显著减少，但我们的方法仍能高质量地重建完整面部，超越了当前技术。我们基于知名的公开人脸数据集生成了七个眼部到面部数据集，用于训练和验证我们提出的方法。代码和数据集已公开可用。
引用
@article{arxiv.2403.12197,
title = {E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space},
author = {Ahmad Hassanpour and Fatemeh Jamalbafrani and Bian Yang and Kiran Raja and Raymond Veldhuis and Julian Fierrez},
journal= {arXiv preprint arXiv:2403.12197},
year = {2024}
}