从视觉属性出发的多模态人脸合成

从视觉属性合成人脸图像是计算机视觉与生物识别中的一个重要问题，因其在执法与娱乐中的应用而备受关注。深度生成网络的最新进展使得从视觉属性合成高质量人脸图像成为可能。然而，现有方法专门设计用于从属性生成单模态图像（即可见光人脸）。在本文中，我们提出了一种新颖的生成对抗网络，可在无需不同域中配对数据训练网络的情况下，同时从视觉属性合成保持身份的多模态人脸图像（即可见光、素描、热成像等）。我们引入了一种带多模态拉伸-out 模块的新型生成器以同时合成多模态人脸图像。此外，判别器中引入了多模态拉伸-in 模块以区分真实与伪造图像。我们进行了大量实验并与若干最先进方法比较，以验证所提出的基于属性的多模态合成方法的有效性。