中文

保真度保持的前景引导人脸修复

计算机视觉与模式识别 2021-05-10 v1

摘要

人脸图像修复是一项极具挑战性的任务,要求对图像真实性进行高保真保持。这是由于关键面部特征(部件)中细微的纹理不易迁移。许多图像修复技术已被提出,并取得了出色的能力和高量化性能。然而,在人脸修复中,特征更为显眼,且修复区域融合的视觉质量在定性上更为重要。基于这些事实,我们设计了一个前景引导的人脸修复框架,可利用卷积神经网络层提取并生成面部特征。它引入前景分割掩码以保持保真度。具体而言,我们提出了一种具有面部表情、自然与非自然特征(化妆)语义能力推理的新损失函数。我们使用 CelebA-HQ 数据集、来自 CelebAMask-HQ 的分割掩码(用于前景引导)以及 Quick Draw Mask(用于缺失区域)进行实验。我们提出的方法在与最先进方法比较时取得了可媲美的量化结果,但在定性上展示了对面部部件的高保真保持。

关键词

引用

@article{arxiv.2105.03342,
  title  = {Foreground-guided Facial Inpainting with Fidelity Preservation},
  author = {Jireh Jam and Connah Kendrick and Vincent Drouard and Kevin Walker and Moi Hoon Yap},
  journal= {arXiv preprint arXiv:2105.03342},
  year   = {2021}
}

备注

7 pages, 5 figures, This paper is submitted to Conference on Computer Analysis of Images and Patterns (CAIP 2021) and is under review