InceptionHuman：用于照片级真实感三维人体生成的可控提示到NeRF方法
计算机视觉与模式识别
2024-08-07 v2
摘要
本文提出 InceptionHuman，一种提示到 NeRF 的框架，允许通过不同模态（如文本、姿态、边缘、分割图等）提示的组合作为 inputs 来轻松控制，以生成照片级真实感的三维人体。尽管许多工作聚焦于生成三维人体模型，它们存在以下一项或多项缺陷：缺乏区分性特征、不自然的光照/阴影、不自然的姿态/衣物、有限视角等。InceptionHuman 在逐步精炼的 NeRF 空间内通过两个新颖模块——迭代姿态感知精炼（IPAR）与渐进增强重建（PAR）——实现一致的三维人体生成。IPAR 迭代精炼扩散生成的图像，并综合考虑邻近姿态 RGB 值合成高质量的三维感知视图。PAR 采用预训练扩散先验增强生成的合成视图，并针对视角无关外观添加正则化。总体而言，照片级真实感新视图的合成赋予了所得三维人体 NeRF 360 度视角的能力。大量定性及定量实验对比表明，我们的 InceptionHuman 模型达到了最先进的应用质量。
引用
@article{arxiv.2311.16499,
title = {InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation},
author = {Shiu-hong Kao and Xinhang Liu and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2311.16499},
year = {2024}
}