Lifting AutoEncoders：利用深度非刚性运动恢复结构实现完全解耦3D可变形模型的无监督学习
计算机视觉与模式识别
2019-04-29 v1
摘要
在这项工作中，我们介绍了 Lifting AutoEncoders，一种基于3D表面的物体类别生成模型。我们结合非刚性运动恢复结构、图像形成和可变形模型的思路，从一组无结构的图像中以完全无监督的方式学习可控的、几何化的3D类别模型。我们利用模型的3D几何性质并使用法线信息将外观解耦为光照、阴影和反照率。我们进一步使用弱监督将人脸的非刚性形状变化解耦为身份和表情。我们将3D表示与可微渲染器结合以生成RGB图像，并附加一个对抗训练精炼网络以获得清晰、照片级真实的图像重建结果。学习到的生成模型可按可解释的几何和外观因子进行控制，使我们能够对身份、表情、3D姿态和光照属性进行照片级真实的图像操控。
引用
@article{arxiv.1904.11960,
title = {Lifting AutoEncoders: Unsupervised Learning of a Fully-Disentangled 3D Morphable Model using Deep Non-Rigid Structure from Motion},
author = {Mihir Sahasrabudhe and Zhixin Shu and Edward Bartrum and Riza Alp Guler and Dimitris Samaras and Iasonas Kokkinos},
journal= {arXiv preprint arXiv:1904.11960},
year = {2019}
}
备注
19 pages; 12 figures; code will be released; Project page: https://msahasrabudhe.github.io/projects/lae/