HeadSculpt：以文本雕琢三维头部化身

近来，文本引导的三维生成方法借助大型视觉-语言与图像扩散模型的普及，在生成高质量纹理与几何方面取得了显著进展。然而，现有方法在创建高保真三维头部化身方面仍面临两方面困难：（1）它们主要依赖预训练的文本到图像扩散模型，却缺乏必要的三维感知与头部先验，导致生成的化身易出现不一致与几何畸变。（2）它们难以进行细粒度编辑，这主要源于预训练二维图像扩散模型的固有局限，在三维头部化身上更为突出。本文通过引入一种名为 HeadSculpt 的通用粗到细流水线来应对上述挑战，用于从文本提示中雕琢（即生成与编辑）三维头部化身。具体而言，我们首先利用基于地标的控制以及表征头部背面外观的习得文本嵌入，赋予扩散模型三维感知，从而实现三维一致的头部化身生成。我们进一步提出一种新颖的感知身份编辑分数蒸馏策略，以高分辨率可微渲染技术优化带纹理网格，从而在遵循编辑指令的同时保持身份。我们通过综合实验及与现有方法的对比，展示了 HeadSculpt 卓越的保真度与编辑能力。