GANcraft：Minecraft 世界的无监督 3D 神经渲染
计算机视觉与模式识别
2021-04-16 v1
摘要
我们提出 GANcraft，一个无监督神经渲染框架，用于生成大型 3D 方块世界（如 Minecraft 中创建的那些）的真实感图像。我们的方法将语义方块世界作为输入，其中每个方块被赋予一个语义标签，如泥土、草地或水。我们将该世界表示为连续体积函数，并训练模型为用户控制的相机渲染视角一致的真实感图像。在方块世界缺乏配对的真实地面真值图像的情况下，我们设计了一种基于伪地面真值和对抗训练的训练技术。这与先前关于用于视角合成的神经渲染的工作形成对比，后者需要地面真值图像来估计场景几何与视角相关外观。除相机轨迹外，GANcraft 允许用户控制场景语义与输出风格。与强基线比较的实验结果表明了 GANcraft 在这一真实感 3D 方块世界合成新任务上的有效性。项目网站位于 https://nvlabs.github.io/GANcraft/ 。
引用
@article{arxiv.2104.07659,
title = {GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds},
author = {Zekun Hao and Arun Mallya and Serge Belongie and Ming-Yu Liu},
journal= {arXiv preprint arXiv:2104.07659},
year = {2021}
}