DeMeshNet：面向深度MeshFace验证的盲人脸修复

网纹照片（MeshFace）已在中国许多商业机构中被广泛用于保护身份证人脸照片免遭滥用。随机网格造成的遮挡严重降低了人脸验证系统的性能，这引发了网纹照片与日常照片之间的网纹人脸验证（MeshFace verification）问题。以往的方法将此问题视为典型的低级视觉问题，即盲修复。它们通过强制恢复的身份证图像与真实清晰身份证图像之间的像素级相似度，从网纹照片中恢复出视觉上令人愉悦的清晰身份证照片，然后对其进行人脸验证。本质上，人脸验证是在紧凑的特征空间而非图像像素空间上进行的。因此，本文认为，像素级相似度和特征级相似度共同提供了提升验证性能的关键。基于这一见解，我们提出了一个新颖的面向特征的盲人脸修复框架。具体来说，我们通过建立一个新颖的DeMeshNet来实现这一点，该网络由三部分组成。第一部分通过隐式利用来自遮挡位置的额外监督来强制像素级相似度，从而处理网纹照片的盲修复。第二部分在紧凑的特征空间中显式地强制特征级相似度，这可以从特征空间中探索信息丰富的监督，以产生更好的修复结果用于验证。最后一部分在提取深度面部特征时，通过一个定制的空间变换器模块处理网络内的人脸对齐。所有三个部分都在一个端到端网络中实现，这有助于高效优化。在两个网纹人脸数据集上的大量实验证明了所提出的DeMeshNet的有效性以及本文的见解。