2D GANs遇上无监督单视图三维重建
计算机视觉与模式识别
2022-07-22 v1
摘要
近期研究表明,基于预训练GAN的可控图像生成可惠及广泛的计算机视觉任务。然而,针对3D视觉任务的关注较少。有鉴于此,我们提出一种新颖的图像条件神经隐式场,可利用GAN生成的多视图图像的2D监督并执行通用物体的单视图重建。首先,提出一种新颖的基于StyleGAN的离线生成器,以在视角完全可控下生成合理的伪图像。接着,我们提出利用神经隐式函数及可微渲染器,从带有物体掩码和粗略位姿初始化的伪图像中学习3D几何。为进一步检测不可靠监督,我们引入一种新颖的不确定性模块来预测不确定性图,其弥补了伪图像中不确定区域的负面影响,从而获得更好的重建性能。我们通过通用物体优越的单视图3D重建结果证明了方法的有效性。
引用
@article{arxiv.2207.10183,
title = {2D GANs Meet Unsupervised Single-view 3D Reconstruction},
author = {Feng Liu and Xiaoming Liu},
journal= {arXiv preprint arXiv:2207.10183},
year = {2022}
}
备注
to be published in ECCV 2022