基于 GANs 的真实感人脸视频修复：以关键点为引导

人脸视频修复在广泛的应用中扮演着关键角色，包括但不限于视频会议和远程医疗中的遮挡物移除、面部表情分析的增强、隐私保护、图形叠加的集成以及虚拟化妆。由于面部特征的复杂性和人类对面孔的固有熟悉度，该领域面临着严峻挑战，这提高了对精确且令人信服的补全结果的需求。为解决此背景下与遮挡移除相关的特定挑战，我们的重点是从被掩码覆盖的面部数据中生成完整图像的渐进式任务，同时确保空间和时间一致性。我们的研究引入了一个专为基于表情的视频修复而设计的网络，采用生成对抗网络（GANs）来处理所有帧中的静态和动态遮挡。通过利用面部关键点和一张无遮挡的参考图像，我们的模型在帧之间一致地保持用户的身份。我们进一步通过一个定制的面部表情识别（FER）损失函数来增强情感保留，确保修复输出的细节。我们提出的框架展示了从人脸视频中自适应地消除遮挡（无论是静态还是动态出现在帧上）的能力，同时提供逼真且连贯的结果。