2D GAN是否知晓3D形状？基于2D图像GAN的无监督3D形状重建
计算机视觉与模式识别
2021-03-15 v4
摘要
自然图像是3D物体到2D像平面上的投影。尽管诸如GAN等最先进的2D生成模型在建模自然图像流形方面展现出前所未有的质量，但尚不清楚它们是否隐式地捕捉了底层的3D物体结构。若是如此，我们又能如何利用这些知识来恢复图像中物体的3D形状？为回答这些问题，本工作中我们首次尝试从仅在RGB图像上训练好的现成2D GAN中直接挖掘3D几何线索。通过研究，我们发现此类预训练GAN确实包含丰富的3D知识，因而可用于以无监督方式从单张2D图像恢复3D形状。我们框架的核心是一种迭代策略，该策略探索并利用GAN图像流形中多样的视角与光照变化。该框架不需要2D关键点或3D标注，也不需要对物体形状作强假设（例如形状对称），却能为人脸、猫、汽车和建筑高精度地恢复3D形状。恢复出的3D形状可立即支持高质量的图像编辑，如重新打光和物体旋转。我们在3D形状重建与人脸旋转方面定量地展示了本方法相较先前方法的有效性。我们的代码见 https://github.com/XingangPan/GAN2Shape。
引用
@article{arxiv.2011.00844,
title = {Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs},
author = {Xingang Pan and Bo Dai and Ziwei Liu and Chen Change Loy and Ping Luo},
journal= {arXiv preprint arXiv:2011.00844},
year = {2021}
}
备注
Accepted to ICLR2021 as an oral presentation. Unsupervised 3D reconstruction via 2D GANs