PrimDiffusion：用于三维人体生成的体积基元扩散
计算机视觉与模式识别
2023-12-08 v1 图形学
摘要
我们提出了PrimDiffusion，这是首个用于3D人体生成的基于扩散的框架。由于3D表示的高计算成本和3D人体的铰接式拓扑结构，设计用于3D人体生成的扩散模型非常困难。为了应对这些挑战，我们的关键见解是直接在体积基元集合上执行去噪扩散过程，该过程将人体建模为许多具有辐射和运动学信息的小体积。这种体积基元表示结合了体积表示的容量和基于基元渲染的效率。我们的PrimDiffusion框架具有三个吸引人的特性：1）用于扩散模型的紧凑且富有表现力的参数空间，2）融合了人体先验的灵活3D表示，以及3）用于高效新视角和新姿态合成的无解码器渲染。大量实验验证了PrimDiffusion在3D人体生成方面优于最先进的方法。值得注意的是，与基于GAN的方法相比，一旦去噪过程完成，我们的PrimDiffusion支持以512x512的分辨率实时渲染高质量的3D人体。我们还展示了该框架在免训练条件生成（如纹理迁移和3D修复）上的灵活性。
引用
@article{arxiv.2312.04559,
title = {PrimDiffusion: Volumetric Primitives Diffusion for 3D Human Generation},
author = {Zhaoxi Chen and Fangzhou Hong and Haiyi Mei and Guangcong Wang and Lei Yang and Ziwei Liu},
journal= {arXiv preprint arXiv:2312.04559},
year = {2023}
}
备注
NeurIPS 2023; Project page https://frozenburning.github.io/projects/primdiffusion/ Code available at https://github.com/FrozenBurning/PrimDiffusion