用于真实图像基于潜空间编辑的关键调谐

近来，涌现出大量利用预训练StyleGAN生成能力的高级面部编辑技术。要以这种方式成功编辑图像，必须首先将图像投影（或反转）到预训练生成器的域中。然而，事实证明，StyleGAN的潜空间引发了失真与可编辑性之间的固有权衡，即在保持原始外观与令人信服地改变其某些属性之间。实际上，这意味着将保持身份的面部潜空间编辑应用于生成器域外的面孔仍然具有挑战性。在本文中，我们提出一种弥合此差距的方法。我们的技术略微改变生成器，从而将域外图像忠实地映射到域内潜码。关键思想是关键调谐——一个简短的训练过程，它保留域内潜区域的可编辑性，同时改变其所刻画的身份与外观。在关键调谐反转（PTI）中，一个初始反转的潜码作为关键，生成器围绕其进行微调。同时，一个正则化项保持邻近身份不变，以局部限制该效应。这一精准训练过程最终改变了主要代表身份的外观特征，而不影响编辑能力。我们通过反转与编辑指标验证我们的技术，并展示优于最先进方法的分数。我们进一步通过将对知名且可识别身份的大量图像应用高级编辑（如姿态、年龄或表情）来定性展示我们的技术。最后，我们展示了对更困难情况（包括浓妆、精致发型及/或头饰）的鲁棒性，这些情况否则无法被最先进方法成功反转与编辑。