GVP：生成式体素基元
计算机视觉与模式识别
2023-04-03 v1 图形学
机器学习
摘要
3D感知生成模型的进展推动了具有显式相机控制的图像合成边界。为实现高分辨率图像合成，已有若干尝试设计高效生成器，例如兼具3D与2D组件混合架构。然而，此类设计损害了多视图一致性，且高分辨率纯3D生成器的设计仍是一个开放问题。本工作中，我们提出生成式体素基元（GVP），首个可实时采样并渲染512分辨率图像的纯3D生成模型。GVP联合建模若干体素基元及其空间信息，二者均可通过2D卷积网络高效生成。这些基元的混合自然捕获了3D体积中的稀疏性与对应性。通过知识蒸馏技术，使得训练如此高自由度的生成器成为可能。在多个数据集上的实验证明了GVP优于最优方法的高效性与3D一致性。
引用
@article{arxiv.2303.18193,
title = {GVP: Generative Volumetric Primitives},
author = {Mallikarjun B R and Xingang Pan and Mohamed Elgharib and Christian Theobalt},
journal= {arXiv preprint arXiv:2303.18193},
year = {2023}
}
备注
https://vcai.mpi-inf.mpg.de/projects/GVP/index.html