StyleNeRF：一种用于高分辨率图像合成的基于风格的3D感知生成器
计算机视觉与模式识别
2021-10-19 v1 机器学习
摘要
我们提出了 StyleNeRF，这是一种用于具有高多视图一致性的真实感高分辨率图像合成的 3D 感知生成模型，可在非结构化 2D 图像上进行训练。现有方法要么无法合成具有精细细节的高分辨率图像，要么会产生明显的 3D 不一致伪影。此外，其中许多方法缺乏对风格属性和显式 3D 相机位姿的控制。StyleNeRF 将神经辐射场（NeRF）集成到基于风格的生成器中以解决上述挑战，即提高高分辨率图像生成的渲染效率和 3D 一致性。我们仅执行体渲染以生成低分辨率特征图，并在 2D 中逐步应用上采样以解决第一个问题。为了减轻由 2D 上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。凭借这些设计，StyleNeRF 能够以交互速率合成高分辨率图像，同时保持高质量的 3D 一致性。StyleNeRF 还支持对相机位姿和不同级别风格的控制，并能够泛化到未见过的视图。它还支持具有挑战性的任务，包括放大与缩小、风格混合、反转和语义编辑。
引用
@article{arxiv.2110.08985,
title = {StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis},
author = {Jiatao Gu and Lingjie Liu and Peng Wang and Christian Theobalt},
journal= {arXiv preprint arXiv:2110.08985},
year = {2021}
}
备注
24 pages, 19 figures. Project page: http://jiataogu.me/style_nerf/