HumanGaussian：基于高斯溅射的文本驱动3D人体生成
计算机视觉与模式识别
2024-03-15 v2
摘要
从文本提示生成逼真3D人体是一项理想却具挑战的任务。现有方法通过分数蒸馏采样（SDS）优化网格或神经场等3D表示，但存在细节不足或训练时间过长的问题。本文提出一种高效且有效的框架HumanGaussian，可生成具有精细几何与逼真外观的高质量3D人体。我们的核心见解是：3D高斯溅射是一种具备周期性高斯收缩或生长的高效渲染器，这种自适应密度控制可自然由内在人体结构引导。具体而言，1）我们首先提出结构感知SDS，同时优化人体外观与几何，利用来自RGB与深度空间的多模态分数函数指导高斯稠化与剪枝过程。2）此外，我们将SDS分解为更具噪声的生成分数与更干净的分类器分数，设计退火负提示引导，有效解决过饱和问题；并基于高斯尺寸在仅剪枝阶段进一步消除漂浮伪影以提升生成平滑度。大量实验证明了我们框架的优越效率与具竞争力的质量，可在多样场景下渲染生动3D人体。项目主页：https://alvinliu0.github.io/projects/HumanGaussian
引用
@article{arxiv.2311.17061,
title = {HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting},
author = {Xian Liu and Xiaohang Zhan and Jiaxiang Tang and Ying Shan and Gang Zeng and Dahua Lin and Xihui Liu and Ziwei Liu},
journal= {arXiv preprint arXiv:2311.17061},
year = {2024}
}
备注
Accepted by CVPR 2024, camera-ready version. Project Page: https://alvinliu0.github.io/projects/HumanGaussian