GRAF：用于三维感知图像合成的生成式辐射场
计算机视觉与模式识别
2021-03-31 v4
摘要
尽管二维生成对抗网络已实现高分辨率图像合成，但它们在很大程度上缺乏对三维世界及图像形成过程的理解，因此无法精确控制相机视角或物体姿态。为解决此问题，若干近期方法利用中间基于体素的表示结合可微渲染。然而，现有方法要么产生低图像分辨率，要么在解耦相机与场景属性方面存在不足，例如物体身份可能随视角变化。本文提出一种用于辐射场的生成模型，辐射场近期已证明在单场景新视角合成中取得成功。与基于体素的表示不同，辐射场不受三维空间粗离散化的限制，却能在存在重建歧义时优雅退化的情况下解耦相机与场景属性。通过引入多尺度基于块的判别器，我们展示了仅从未经位姿标定的二维图像训练模型即可合成高分辨率图像。我们在多个具有挑战性的合成与真实世界数据集上系统分析了该方法。实验表明，辐射场是生成式图像合成的有力表示，可得到具有高保真度渲染的三维一致模型。
引用
@article{arxiv.2007.02442,
title = {GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis},
author = {Katja Schwarz and Yiyi Liao and Michael Niemeyer and Andreas Geiger},
journal= {arXiv preprint arXiv:2007.02442},
year = {2021}
}