无监督解耦线性编码的面部语义
计算机视觉与模式识别
2021-04-01 v1
摘要
我们提出了一种无需外部监督即可从 StyleGAN 中解耦线性编码面部语义的方法。该方法源于线性回归和稀疏表示学习概念，使得解耦后的潜表示也易于解释。我们首先将 StyleGAN 与稳定的三维可变形面部重建方法相耦合，将单视图 GAN 生成分解为多个语义。随后提取潜表示以捕获可解释的面部语义。在这项工作中，我们使得摆脱标签来解耦有意义的面部语义成为可能。此外，我们展示了沿解耦表示的有引导外推可辅助数据增强，这为处理不平衡数据提供了思路。最后，我们对学习到的局部化面部表示进行了分析，并说明语义信息已被编码，且令人惊讶地符合人类直觉。整体无监督设计为真实场景下的表示学习带来了更大灵活性。
引用
@article{arxiv.2103.16605,
title = {Unsupervised Disentanglement of Linear-Encoded Facial Semantics},
author = {Yutong Zheng and Yu-Kai Huang and Ran Tao and Zhiqiang Shen and Marios Savvides},
journal= {arXiv preprint arXiv:2103.16605},
year = {2021}
}
备注
Accepted in IEEE Conference on Computer Vision and Pattern Recognition 2021 (CVPR2021)