HeadEvolver：基于可表达且属性保持的网格变形的文本到头部头像
图形学
2025-05-01 v4 人工智能
摘要
当前文本到头像方法通常依赖隐式表示（如 NeRF、SDF 和 DMTet），导致难以在图形软件中编辑和动画化的 3D 内容。本文引入一种新框架，用于从文本指导生成风格化的头部头像，利用局部可学习的网格变形和 2D 扩散先验实现属性保持的高质量数字资产。给定模板网格，我们的方法使用每面的雅可比矩阵表示网格变形，并通过可学习向量场自适应调制局部变形。该向量场实现各向异性缩放，同时保持顶点的旋转，从而更好地表达身份和几何细节。我们采用基于地标和轮廓的正则化项，在不依赖特定形状先验的情况下，在多个视角之间平衡生成头像的可表达性和合理性。我们的框架可生成逼真的形状和纹理，可通过文本进行进一步编辑，同时支持使用保留下来的属性进行无缝编辑，如 3DMM 参数、blendshapes 和 UV 坐标。广泛的实验表明，我们的框架能够生成具有高质量网格且易于图形软件操作的多样且富有表现力的头部头像，促进下游应用，如使用保留属性进行高效资产创建和动画。
引用
@article{arxiv.2403.09326,
title = {HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation},
author = {Duotun Wang and Hengyu Meng and Zeyu Cai and Zhijing Shao and Qianxi Liu and Lin Wang and Mingming Fan and Xiaohang Zhan and Zeyu Wang},
journal= {arXiv preprint arXiv:2403.09326},
year = {2025}
}
备注
13 pages, 20 figures