BallGAN：基于球形背景的三维感知图像合成
计算机视觉与模式识别
2023-11-13 v3 人工智能
机器学习
摘要
三维感知GAN旨在合成逼真的三维场景，从而能以任意视角渲染生成图像。尽管先前方法生成了逼真图像，但它们受限于训练不稳定或三维几何不自然的退化解。我们假设三维几何因约束不足而不确定，即被判别器分类为真实图像并不足够。为解决此问题，我们提出将背景近似为球面，并将场景表示为置于球内的前景与薄球面背景的并集。这降低了背景场的自由度。相应地，我们修改体渲染方程并引入专用约束，设计了一种名为BallGAN的新型三维感知GAN框架。BallGAN具有以下多重优势：1）它产生更合理的三维几何；同一场景不同视角的图像比最先进方法具有更好的光度一致性与保真度。2）训练变得更加稳定。3）前景可单独渲染于不同任意背景之上。
引用
@article{arxiv.2301.09091,
title = {BallGAN: 3D-aware Image Synthesis with a Spherical Background},
author = {Minjung Shin and Yunji Seo and Jeongmin Bae and Young Sun Choi and Hyunsu Kim and Hyeran Byun and Youngjung Uh},
journal= {arXiv preprint arXiv:2301.09091},
year = {2023}
}
备注
ICCV 2023, Project Page: https://minjung-s.github.io/ballgan