多模态条件3D人脸几何生成
计算机视觉与模式识别
2025-09-03 v2 图形学
摘要
我们提出了一种新的方法，用于多模态条件3D人脸几何生成，允许用户通过多种不同的条件信号对输出的身份和表情进行友好控制。我们在单个模型中演示了由艺术素描、肖像照、Canny边缘、FLAME人脸模型参数、2D人脸关键点或文本提示生成的3D人脸。我们的方法基于扩散过程，在二维参数化UV域中生成3D几何。几何生成将每个条件信号通过交叉注意力层（IP-Adapter）进行处理，每种条件信号对应一组交叉注意力层。结果是一个易于使用的3D人脸生成工具，能够产生拓扑一致、高质量的几何，并提供细粒度的用户控制。
引用
@article{arxiv.2407.01074,
title = {Multimodal Conditional 3D Face Geometry Generation},
author = {Christopher Otto and Prashanth Chandran and Sebastian Weiss and Markus Gross and Gaspard Zoss and Derek Bradley},
journal= {arXiv preprint arXiv:2407.01074},
year = {2025}
}
备注
Added more evaluation since the first version. Accepted to SMI 2025. Computers & Graphics