中文

用于条件式人脸编辑的自适应非线性潜空间变换

计算机视觉与模式识别 2023-07-18 v1

摘要

近期的人脸编辑工作通常借助线性语义方向操控StyleGAN的潜空间。然而,它们常受限于面部属性的纠缠、需调节最优编辑强度,且局限于具有强监督信号的二值属性。本文提出一种用于解耦且条件式人脸编辑的新型自适应非线性潜空间变换,称为AdaTrans。具体而言,我们的AdaTrans将操控过程划分为若干更细的步骤;即每步的方向与大小均以面部属性与潜码为条件。如此,AdaTrans描述了一条自适应非线性变换轨迹,在将人脸编辑至目标属性的同时保持其他属性不变。接着,AdaTrans利用预定义密度模型,通过最大化变换后潜码似然,将所学轨迹约束于潜码分布内。此外,我们还提出互信息框架下的解耦学习策略以消除属性间纠缠,可进一步放宽对标注数据的需求。因而,AdaTrans实现了具解耦性、对非二值属性的灵活性及高保真度的可控人脸编辑。在多种面部属性上的大量实验结果证明了所提AdaTrans相较现有SOTA方法的定性与定量有效性,尤其在具有大年龄跨度与少量标注样本的最具挑战性场景中。源代码见https://github.com/Hzzone/AdaTrans。

关键词

引用

@article{arxiv.2307.07790,
  title  = {Adaptive Nonlinear Latent Transformation for Conditional Face Editing},
  author = {Zhizhong Huang and Siteng Ma and Junping Zhang and Hongming Shan},
  journal= {arXiv preprint arXiv:2307.07790},
  year   = {2023}
}

备注

ICCV 2023