面向可控图像生成的神经图形学管线
计算机视觉与模式识别
2021-02-23 v2
摘要
本文利用神经网络的最新进展，构建面向可控图像生成的神经渲染，从而绕过传统图形学管线中对详细建模的需求。为此，我们提出神经图形学管线 (Neural Graphics Pipeline, NGP)，这是一种结合了神经与传统图像生成模型的混合生成模型。NGP 将图像分解为一组可解释的外观特征图，揭示了用于可控图像生成的直接控制接口。为了生成图像，NGP 生成粗糙的 3D 模型并将其输入神经渲染模块，以产生特定视角的可解释 2D 图，随后使用传统图像生成模型将其合成为最终输出图像。除了控制形状与外观变化外，我们的方法还通过提供直接控制光照和相机参数的接口来实现对图像生成的控制。其核心挑战在于通过无监督训练学习这些控制，该训练利用神经与传统（例如，Blinn-Phong）渲染函数将生成的粗糙 3D 模型与非配对的真实图像联系起来，而无需在它们之间建立显式对应关系。我们在单物体场景的可控图像生成上展示了该方法的有效性。我们评估了该混合建模框架，并与纯神经生成方法（即 DCGAN、LSGAN、WGAN-GP、VON 和 SRNs）进行比较，报告了针对真实图像的 FID 分数提升，并证明 NGP 支持传统正向渲染中常见的直接控制。代码可在 http://geometry.cs.ucl.ac.uk/projects/2021/ngp 获取。
引用
@article{arxiv.2006.10569,
title = {Towards a Neural Graphics Pipeline for Controllable Image Generation},
author = {Xuelin Chen and Daniel Cohen-Or and Baoquan Chen and Niloy J. Mitra},
journal= {arXiv preprint arXiv:2006.10569},
year = {2021}
}
备注
Eurographics 2021