基于对抗学习的单图像无监督三维重建
计算机视觉与模式识别
2017-11-28 v1
摘要
深度学习的近期进展为在大规模数据集上充分训练后从单张2D图像学习高质量3D模型开辟了新机遇。然而，可用图像与3D模型数量间的显著不平衡，以及带标注2D图像数据（即图像与其对应3D模型间的手动配对）的有限可得性，严重影响了实践中大多数有监督深度学习方法的训练。本文中，受一种新颖对抗网络设计的驱动，我们开发了一种无监督学习范式，从单张2D图像重建3D模型，其无需手动标注的成对输入图像及其关联3D模型。具体而言，该范式首先通过带对抗损失的自动编码器训练一个适配网络，将未配对的2D合成图像域与真实世界图像域嵌入到共享潜向量空间。随后，我们联合训练一个3D反卷积网络，将潜向量空间与嵌入过程一起变换到3D物体空间。我们的实验验证了我们的网络在处理从单张2D图像生成3D体素物体时的鲁棒与优越性能。
引用
@article{arxiv.1711.09312,
title = {Unsupervised 3D Reconstruction from a Single Image via Adversarial Learning},
author = {Lingjing Wang and Yi Fang},
journal= {arXiv preprint arXiv:1711.09312},
year = {2017}
}