用于高效三维人体生成的高斯壳映射
计算机视觉与模式识别
2023-11-30 v1 图形学
摘要
高效生成三维数字人体在多个行业中十分重要，包括虚拟现实、社交媒体和影视制作。三维生成对抗网络（GANs）在生成资产的质量与多样性上已达到最先进（SOTA）水平。然而，当前的三维 GAN 架构通常依赖体表示，其渲染速度慢，从而妨碍 GAN 训练并需要多视图不一致的二维上采样器。在此，我们引入高斯壳映射（GSMs）作为一种框架，其使用可关节化的多壳基支架，将 SOTA 生成器网络架构与新兴的三维高斯渲染基元相连接。在该设定中，CNN 生成具有特征的三维纹理栈，这些特征被映射到壳上。后者表示规范身体姿态下数字人体模板表面的膨胀与收缩版本。我们不直接对壳进行光栅化，而是在壳上采样三维高斯，其属性编码于纹理特征中。这些高斯被高效且可微地渲染。在 GAN 训练期间以及推理时，将身体形变为任意用户定义姿态的能力，使壳的关节化十分重要。我们高效的渲染方案规避了对视图不一致上采样器的需求，并在 像素的原生分辨率下实现高质量的多视图一致渲染。我们证明，当在单视图数据集（包括 SHHQ 和 DeepFashion）上训练时，GSMs 能成功生成三维人体。
引用
@article{arxiv.2311.17857,
title = {Gaussian Shell Maps for Efficient 3D Human Generation},
author = {Rameen Abdal and Wang Yifan and Zifan Shi and Yinghao Xu and Ryan Po and Zhengfei Kuang and Qifeng Chen and Dit-Yan Yeung and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2311.17857},
year = {2023}
}
备注
Project page : https://rameenabdal.github.io/GaussianShellMaps/