基于语义知识与协作对抗学习的人脸补全

与从类似于背景的图像块推断缺失区域的传统背景修复方法不同，人脸补全需要关于目标对象的语义知识以生成逼真输出。当前的图像修复方法利用生成对抗网络（GANs）来实现此类语义理解。然而，在对抗学习中，语义知识是隐式学习的，因此良好的语义理解并非总能得到保证。在本工作中，我们提出一种用于人脸补全的协作对抗学习方法以显式引导训练过程。我们的方法构建于一种称为协作 GAN（collaGAN）的新颖生成框架之下，该框架通过包括人脸补全、关键点检测与语义分割在内的多任务协作学习实现对目标对象的更好语义理解。结合 collaGAN，我们还引入了修复集中机制，使模型更关注修复而非自编码。大量实验表明所提设计确实有效，且协作对抗学习提供了更好的面部特征表示。与其他生成式图像修复模型及单任务学习方法相比，我们的方案在所有任务上均产生更优性能。