用于真实世界人脸修复的位置感知隐式神经网络学习

人脸修复要求模型对人脸位置结构具有精确的全局理解。得益于深度学习骨干网络的强大能力，近期的人脸修复工作在理想设置（$512px$ 的方形形状）下取得了良好的性能。然而，当直接应用于真实世界场景中的任意形状图像时，现有方法通常会产生视觉上令人不悦的结果，特别是在对位置敏感的细节（如眼睛和鼻子）上。视觉上令人不悦的位置敏感细节表明现有方法在位置信息处理能力方面存在不足。在本文中，我们提出了一种隐式神经修复网络（IN$^2$），通过对位置信息进行显式建模来处理真实世界场景中的任意形状人脸图像。具体而言，提出了一种下采样处理编码器，以在获取全局语义特征的同时减少信息丢失。提出了一种邻居混合注意力块，其采用混合注意力机制，在不限制输入形状的情况下提高模型的人脸理解能力。最后，引入了隐式神经金字塔解码器，以显式建模位置信息并弥合低分辨率特征与高分辨率输出之间的差距。大量实验证明了所提方法在真实世界人脸修复任务中的优越性。