HumanNorm：学习法线扩散模型用于高质量逼真三维人体生成
计算机视觉与模式识别
2023-11-30 v2
摘要
近期采用扩散模型的文本到三维方法在三维人体生成方面取得了显著进展。然而，这些方法面临文本到图像扩散模型局限性的挑战，后者缺乏对三维结构的理解。因此，这些方法难以实现高质量人体生成，导致几何平滑且呈现卡通化外观。本文中，我们提出 HumanNorm，一种用于高质量逼真三维人体生成的新方法。其核心思想是通过学习法线自适应扩散模型与法线对齐扩散模型来增强模型对三维几何的二维感知。法线自适应扩散模型可基于具有视角依赖与身体感知文本的用户提示生成高保真法线图。法线对齐扩散模型学习生成与法线图对齐的彩色图像，从而将物理几何细节转化为逼真外观。利用所提法线扩散模型，我们设计了一种渐进式几何生成策略与多步分数蒸馏采样（SDS）损失以提升三维人体生成性能。综合实验证实了 HumanNorm 生成具有精细几何与逼真外观的三维人体的能力。HumanNorm 在几何与纹理质量上均优于现有文本到三维方法。HumanNorm 的项目页面为 https://humannorm.github.io/。
引用
@article{arxiv.2310.01406,
title = {HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation},
author = {Xin Huang and Ruizhi Shao and Qi Zhang and Hongwen Zhang and Ying Feng and Yebin Liu and Qing Wang},
journal= {arXiv preprint arXiv:2310.01406},
year = {2023}
}
备注
The project page of HumanNorm is https://humannorm.github.io/