解耦的人脸全生命周期合成
计算机视觉与模式识别
2021-08-16 v2
摘要
人脸全生命周期合成(LFS)模型旨在仅给定一张参考快照的情况下,生成一个人整个生命周期的一组照片级真实人脸图像。给定目标年龄代码所生成的人脸图像应具年龄敏感性,体现为形状与纹理在生物学上合理的变换,同时保持身份不变。这极具挑战性,因为人脸的形状与纹理特征随年龄经历各自独立且高度非线性的变换。近期多数 LFS 模型基于生成对抗网络(GANs),将年龄代码条件变换应用于潜人脸表示。它们极大受益于 GANs 的近期进展。然而,若不将其潜表示显式解耦为纹理、形状与身份因子,它们在建模纹理与形状的非线性年龄相关变换同时保持身份方面存在根本局限。本工作提出一种新颖 LFS 模型,解耦包括形状、纹理与身份在内的关键人脸特征,从而有效建模独特的形状与纹理年龄变换。这通过从编码器中分别提取形状、纹理与身份特征实现。关键在于,设计了两个变换模块——一个基于条件卷积,另一个基于通道注意力——分别建模非线性形状与纹理特征变换。这是为了适应它们相当不同的老化过程,并确保我们合成的图像既具年龄敏感性又保持身份。大量实验表明,我们的 LFS 模型明显优于当前最优的替代方法。代码与演示见项目网站:\url{https://senhe.github.io/projects/iccv_2021_lifespan_face}。
引用
@article{arxiv.2108.02874,
title = {Disentangled Lifespan Face Synthesis},
author = {Sen He and Wentong Liao and Michael Ying Yang and Yi-Zhe Song and Bodo Rosenhahn and Tao Xiang},
journal= {arXiv preprint arXiv:2108.02874},
year = {2021}
}
备注
To appear in ICCV 2021