使用生成对抗网络合成人脸光度测量与对应几何形状

人工数据合成目前是一个被广泛研究的课题，在数据科学、计算机视觉、图形学及许多其他领域中均有重要应用。由于人类感知对非真实外观极为敏感，生成逼真数据尤其具有挑战性。近年来，GAN 训练流程与架构的进展实现了新的真实度水平。然而，这些成功的模型主要针对图像、音频和视频等规则采样数据进行调优。尽管该架构在这些类型的媒体上获得了成功应用，将相同工具应用于几何数据却面临更大的挑战。几何深度学习的研究在学术界仍是一个存在争议的问题，因为几何对象固有的缺乏内在参数化，阻碍了卷积滤波器的直接使用，而卷积滤波器是当今机器学习系统的主要构建块。在本文中，我们提出了一种生成逼真的人脸几何形状并叠加纹理的新方法。我们通过施加从数据到单位矩形的全局映射来规避参数化问题。我们进一步讨论了如何设计此类映射以控制映射失真并保持映射图像内的面积。通过将几何纹理和几何形状表示为图像，我们能够使用先进的 GAN 方法来生成新的几何形状。我们探讨了常被忽视的纹理与几何形状之间的关系问题，并建议利用这种相关性来匹配生成的纹理及其对应的几何形状。我们提供了一种在部分损坏数据上训练 GAN 模型的新方法。最后，我们提供了实证证据，证明我们的生成模型能够生成独立于训练数据的新身份样本，同时保持高度的真实感，这两个特征通常是相互矛盾的。