HoloGAN：从自然图像中无监督学习三维表示
计算机视觉与模式识别
2019-10-02 v2
摘要
我们提出了一种新颖的生成对抗网络（GAN），用于从自然图像中无监督学习三维表示的任务。大多数生成模型依赖二维卷积核来生成图像，并对三维世界做出很少假设。因此，这些模型在需要强三维理解的任务（如新视角合成）中往往会产生模糊图像或伪影。HoloGAN 则学习世界的三维表示，并以逼真的方式渲染该表示。与其他 GAN 不同，HoloGAN 通过对所学三维特征进行刚体变换，提供对生成物体姿态的显式控制。我们的实验表明，使用显式三维特征使 HoloGAN 能够解耦三维姿态与身份，身份进一步分解为形状与外观，同时仍能生成与其他生成模型相似或更高视觉质量的图像。HoloGAN 可以仅从未经标注的二维图像端到端训练。特别地，我们不需要姿态标签、三维形状或同一物体的多视图。这表明 HoloGAN 是首个以完全无监督方式从自然图像中学习三维表示的生成模型。
引用
@article{arxiv.1904.01326,
title = {HoloGAN: Unsupervised learning of 3D representations from natural images},
author = {Thu Nguyen-Phuoc and Chuan Li and Lucas Theis and Christian Richardt and Yong-Liang Yang},
journal= {arXiv preprint arXiv:1904.01326},
year = {2019}
}
备注
International Conference on Computer Vision ICCV 2019. For project page, see https://www.monkeyoverflow.com/#/hologan-unsupervised-learning-of-3d-representations-from-natural-images/