PIE：用于语义控制的肖像图像嵌入

肖像图像的编辑是一个非常重要且热门的研究课题，具有广泛的应用。为便于使用，应通过类似于计算机动画控制的语义化参数化方式提供控制。现有绝大多数技术无法提供这种直观且细粒度的控制，或仅能针对单一孤立控制参数进行粗略编辑。最近已有研究展示了高质量的语义控制编辑，但仅针对合成生成的 StyleGAN 图像。我们提出了第一种将真实肖像图像嵌入 StyleGAN 潜空间的方法，从而可对图像中的头部姿态、面部表情和场景光照进行直观编辑。参数空间中的语义编辑基于 StyleRig 实现，这是一个预训练神经网络，可将三维可变形人脸模型的控制空间映射到该 GAN 的潜空间。我们设计了一种新颖的分层非线性优化问题来获得嵌入。身份保持能量项可在维持面部完整性的同时实现空间一致的编辑。我们的方法以交互式帧率运行，从而允许用户探索可能的编辑空间。我们在大量肖像照片上评估了该方法，将其与当前最先进水平进行比较，并通过消融实验验证了其各组件的有效性。