基于参考图像引导的具有身份与纹理控制的大规模人脸修复
计算机视觉与模式识别
2023-03-14 v1
摘要
人脸修复旨在合理预测受损区域内人脸图像缺失的像素。大多数现有方法依赖从大数据集学习人脸图像分布生成模型，产生不可控的结果，尤其在大规模缺失区域时。为引入强控制的人脸修复，我们提出一种新颖的参考引导人脸修复方法，以参考人脸图像引导的身份与纹理控制填充大规模缺失区域。然而，在施加两个控制信号下生成高质量结果具有挑战性。为应对该困难，我们提出一种双控制单阶段框架，将参考图像解耦为两个层级以实现灵活控制：高层身份信息与低层纹理信息，其中身份信息确定人脸形状，纹理信息描绘部件感知纹理。为合成高质量结果，我们设计两个新颖模块，称为 Half-AdaIN 与部件级风格注入器（CWSI），将两类控制信息注入修复过程。我们的方法生成忠实于参考图像身份与纹理控制的真实结果。据我们所知，这是首项在人脸修复中同时应用身份与部件级控制以承诺更精确可控结果的工作。代码见 https://github.com/WuyangLuo/RefFaceInpainting
引用
@article{arxiv.2303.07014,
title = {Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control},
author = {Wuyang Luo and Su Yang and Weishan Zhang},
journal= {arXiv preprint arXiv:2303.07014},
year = {2023}
}
备注
accepted by IEEE Transactions on Circuits and Systems for Video Technology