ID-Sculpt：基于单张野生肖像图像的身份感知3D头部生成
计算机视觉与模式识别
2024-12-24 v3
摘要
虽然近期研究在图像到3D对象生成方面取得了很大成功，但从单张野生肖像图像生成高质量且保真的3D头部仍是一个很大的挑战。以往基于文本的方法受限于文本描述，图像基方法则难以产生高质量的头部几何结构。为解决这一困难问题，本文提出了一种新型框架ID-Sculpt，用于在保持身份信息的同时生成高质量的3D头部。我们的工作将肖像图像的身份信息包含于三个部分：1）几何初始化，2）几何雕刻，3）纹理生成阶段。给定参考肖像图像后，我们首先将身份特征与文本特征对齐，以实现身份感知引导增强，这包含表示面部信息的控制信号。随后，我们使用canal图、肖像图像的身份特征以及预训练的文本到法线/深度扩散模型生成身份感知的几何监督，并采用3D-GAN反向映射生成身份感知的几何初始化。此外，凭借将身份信息注入3D头部生成的能力，我们使用身份感知引导来计算身份感知得分蒸馏（ISD）用于几何雕刻。对于纹理生成，我们采用身份一致纹理填充与精炼，该方法逐步扩大视野进行纹理填充，以获得初始UV纹理图。随后，我们利用身份感知引导为噪声多视角图像提供图像级监督，以获得精炼后的纹理图。广泛的实验表明，我们能够从单张野生肖像图像生成具有准确几何和纹理的高质量3D头部。
引用
@article{arxiv.2406.16710,
title = {ID-Sculpt: ID-aware 3D Head Generation from Single In-the-wild Portrait Image},
author = {Jinkun Hao and Junshu Tang and Jiangning Zhang and Ran Yi and Yijia Hong and Moran Li and Weijian Cao and Yating Wang and Chengjie Wang and Lizhuang Ma},
journal= {arXiv preprint arXiv:2406.16710},
year = {2024}
}
备注
Accepted by AAAI 2025; Project page: https://jinkun-hao.github.io/ID-Sculpt/