基于面部属性参考引导的图像修复
计算机视觉与模式识别
2023-01-20 v1
摘要
图像修复是一种补全缺失像素的技术，例如遮挡区域恢复、干扰物体去除以及面部补全。在这些修复任务中，面部补全算法根据用户指示进行人脸修复。现有方法需要用户进行精细且良好控制的输入，因此普通用户难以提供足够准确的引导以使算法生成期望的结果。为克服这一局限，我们提出了一种替代的用户引导修复架构，其利用单张参考图像作为引导来操控面部属性。我们的端到端模型由用于精确参考图像属性传递的属性提取器，以及用于将属性真实且准确地映射到生成图像的修复模型组成。我们定制了 MS-SSIM 损失和可学习的双向注意力图，即使在不规则形状掩码下重要结构也保持完整。基于使用公开数据集 CelebA-HQ 的评估，我们证明了所提方法相较于一些专用于修复任务的 SOTA 方法具有更优性能。
引用
@article{arxiv.2301.08044,
title = {Reference Guided Image Inpainting using Facial Attributes},
author = {Dongsik Yoon and Jeonggi Kwak and Yuanming Li and David Han and Youngsaeng Jin and Hanseok Ko},
journal= {arXiv preprint arXiv:2301.08044},
year = {2023}
}
备注
BMVC 2021