GaussianIP: 基于以人为中心的扩散先验的保身份真实感3D人生成
计算机视觉与模式识别
2025-03-17 v1
摘要
随着高效的3D表示和诸如 Score Distillation Sampling (SDS) 等2D提升方法的发展，文本引导的3D人生成取得了显著进展。然而，当前方法存在训练时间长的问题，且生成的结果往往缺乏精细的面部和服装细节。在本文中，我们提出了 GaussianIP，一个有效的两阶段框架，用于从文本和图像提示生成保身份的真实感3D人体。我们的核心见解是利用以人为中心的知识来促进生成过程。在第一阶段，我们提出了一种新颖的自适应人类蒸馏采样方法，以快速生成与图像提示保持高身份一致性且具有真实外观的3D人体。与传统的 SDS 方法相比，AHDS 更好地契合以人为中心的生成过程，以显著更少的训练步骤增强了视觉质量。为了进一步提高面部和衣服区域的视觉质量，我们在第二阶段设计了一种视图一致性细化策略。具体而言，它迭代地生成第一阶段多视图图像的细节增强结果，通过相互注意力和距离引导的注意力融合确保跨视图的3D纹理一致性。然后，可以通过直接使用细化后的图像进行重建，获得精修版的3D人体。大量实验表明，GaussianIP 在视觉质量和训练效率方面均优于现有方法，尤其是在生成保身份结果方面。我们的代码可在：https://github.com/silence-tang/GaussianIP 获取。
引用
@article{arxiv.2503.11143,
title = {GaussianIP: Identity-Preserving Realistic 3D Human Generation via Human-Centric Diffusion Prior},
author = {Zichen Tang and Yuan Yao and Miaomiao Cui and Liefeng Bo and Hongyu Yang},
journal= {arXiv preprint arXiv:2503.11143},
year = {2025}
}
备注
Accepted by CVPR 2025