基于 StyleGAN 的面部动作单元感知验证精确局部编辑
计算机视觉与模式识别
2021-07-28 v2 人工智能
人机交互
摘要
编辑面部表情的能力在计算机图形学中有广泛应用。理想的面部表情编辑算法需要满足两个重要标准。首先，它应允许对单个面部动作进行精确且有针对性的编辑。其次，它应生成无伪影的高保真输出。我们基于 StyleGAN 构建了一个解决方案，StyleGAN 已被广泛用于面部的语义操控。在此过程中，我们增进了对各类语义属性如何在 StyleGAN 中编码的理解。特别地，我们表明，在潜空间中进行编辑的朴素策略会导致某些动作单元之间不期望的耦合，即使它们在概念上是不同的。例如，尽管皱眉肌下压与嘴唇紧闭是不同的动作单元，它们在训练数据中表现为相关。因此，StyleGAN 难以将它们解耦。我们通过为每个动作单元计算分离的影响区域，并将编辑限制在这些区域内，从而实现此类动作单元的解耦编辑。我们通过由 23 名受试者参与的感知实验验证了局部编辑方法的有效性。结果表明，与最先进的方法相比，我们的方法对局部编辑提供了更高的控制力，并生成保真度更优的图像。
引用
@article{arxiv.2107.12143,
title = {Perceptually Validated Precise Local Editing for Facial Action Units with StyleGAN},
author = {Alara Zindancıoğlu and T. Metin Sezgin},
journal= {arXiv preprint arXiv:2107.12143},
year = {2021}
}