ZeroAvatar：基于单张图像的零样本三维化身生成
计算机视觉与模式识别
2023-05-29 v1
摘要
近期文本到图像生成的进展使得零样本三维形状生成取得显著进步。这通过分数蒸馏实现，该方法利用预训练的文本到图像扩散模型优化三维神经表示（如神经辐射场（NeRF））的参数。尽管展示了有前景的结果，现有方法往往无法保持复杂形状（如人体）的几何结构。为应对此挑战，我们提出 ZeroAvatar，一种将显式三维人体先验引入优化过程的方法。具体而言，我们首先从单张图像估计并细化参数化人体的参数。随后在优化过程中，我们将姿态化参数化人体作为额外的几何约束，以正则化扩散模型及底层密度场。最后，我们提出一种 UV 引导的纹理正则化项，进一步引导不可见身体部位的纹理补全。我们表明 ZeroAvatar 显著增强了基于优化的图像到三维化身生成的鲁棒性与三维一致性，优于现有零样本图像到三维方法。
引用
@article{arxiv.2305.16411,
title = {ZeroAvatar: Zero-shot 3D Avatar Generation from a Single Image},
author = {Zhenzhen Weng and Zeyu Wang and Serena Yeung},
journal= {arXiv preprint arXiv:2305.16411},
year = {2023}
}