语义引导的面部图像目标移除：具有广泛适用性与鲁棒风格保持

面部图像中的目标移除与图像修复是一项针对性移除遮挡面部图像的目标、并以恰当重建的面部图像替换的任务。分别利用 U-net 与调制生成器的两种不同方法因各自独特优势而被广泛认可，但各方法均有固有缺点。U-net 作为条件 GAN 的传统方法，保留了未掩码区域的精细细节，但重建图像风格与原始图像其余部分不一致，且仅在遮挡目标足够小时才鲁棒工作。相反，调制生成方法能处理图像中更大的遮挡区域并提供更一致的风格，却通常丢失大部分细节特征。这两种模型间的权衡亟需一种可应用于任意大小掩码、同时保持一致风格并保留面部特征细微细节的模型。在此，我们提出语义引导修复网络(SGIN)，其本身是调制生成器的改进，旨在利用其先进生成能力并保留原始图像的高保真细节。通过使用语义图引导，我们的模型能够操控面部特征，从而为这一对多的难题提供方向以提升实用性。