PaintHuman：基于去噪分数蒸馏的高保真文本到三维人体纹理生成
计算机视觉与模式识别
2023-10-17 v1
摘要
近期，利用人体模型先验（如 SMPL）或结合预训练文本到图像扩散模型的分数蒸馏采样（SDS）的零样本文本到三维人体生成取得了突破性进展。然而，在弱扩散引导下的 SDS 可能提供不准确的梯度方向，因为它往往产生过度平滑的结果，并生成与精细网格几何不一致的身体纹理。因此，直接利用现有策略实现高保真文本到三维人体纹理生成具有挑战性。在本工作中，我们提出一个名为 PaintHuman 的模型，从两个方面应对这些挑战。我们首先提出一种新颖的分数函数——去噪分数蒸馏（DSD），它通过引入负梯度分量直接修改 SDS，以迭代方式修正梯度方向并生成高质量纹理。此外，我们使用深度图作为几何引导，以确保纹理在语义上与人体网格表面对齐。为保证渲染结果的质量，我们采用几何感知网络来预测表面材质并渲染逼真的人体纹理。大量实验在与最先进方法的基准对比中验证了我们方法的有效性。
引用
@article{arxiv.2310.09458,
title = {PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via Denoised Score Distillation},
author = {Jianhui Yu and Hao Zhu and Liming Jiang and Chen Change Loy and Weidong Cai and Wayne Wu},
journal= {arXiv preprint arXiv:2310.09458},
year = {2023}
}