EpiGRAF:重新思考3D GAN的训练

生成建模中一个非常近期的趋势是从2D图像集合构建3D感知生成器。为引入3D偏置,此类模型通常依赖体积渲染,而在高分辨率下使用该方法代价高昂。过去数月,出现了十余项工作,通过训练一个独立的2D解码器来上采样由纯3D生成器产生的低分辨率图像(或特征张量)以解决此扩展问题。但该方案有代价:它不仅破坏多视图一致性(即相机移动时形状与纹理改变),而且以低保真度学习几何。本工作中,我们表明通过遵循完全不同类型的路线——即简单地以分块方式训练模型,可获得具有高分辨率与SOTA图像质量的3D生成器。我们以两种方式重访并改进该优化方案。首先,我们设计了一个位置与尺度感知的判别器,以处理不同比例与空间位置的图像块。其次,我们基于退火beta分布修改图像块采样策略,以稳定训练并加速收敛。所得模型名为EpiGRAF,是一种高效、高分辨率的纯3D生成器,我们在四个数据集(其中两个由本工作引入)上以$256^2$与$512^2$分辨率进行了测试。它取得了最先进的图像质量、高保真几何,且训练比基于上采样器的对应模型快约${\approx} 2.5 \times$。项目网站:https://universome.github.io/epigraf。