HeadArtist: 基于文本条件的自评分蒸馏3D头部生成
计算机视觉与模式识别
2024-05-09 v2
摘要
本文提出HeadArtist，用于从文本描述生成3D头部。以地标引导的ControlNet作为生成先验，我们提出了一种高效流水线，在先验蒸馏本身的监督下优化参数化3D头部模型。我们称此过程为自评分蒸馏（SSD）。具体地，给定一个采样的相机姿态，我们首先从头部模型渲染图像及其对应地标，并在图像上添加特定级别的噪声。然后将噪声图像、地标和文本条件两次输入冻结的ControlNet进行噪声预测。在这两次预测中应用两个不同的无分类器引导（CFG）权重，预测差异提供了渲染图像如何更好地匹配目标文本的方向。实验结果表明，我们的方法生成了具有足够几何形状和逼真外观的高质量3D头部雕塑，显著优于最先进方法。我们还展示了同一流水线很好地支持生成头部的编辑，包括几何变形和外观变化。
引用
@article{arxiv.2312.07539,
title = {HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation},
author = {Hongyu Liu and Xuan Wang and Ziyu Wan and Yujun Shen and Yibing Song and Jing Liao and Qifeng Chen},
journal= {arXiv preprint arXiv:2312.07539},
year = {2024}
}
备注
Amazing results are shown in https://kumapowerliu.github.io/HeadArtist. Accepted by SIGGRAPH 2024