颅骨到面部：解剖学引导的3D面部重建与编辑
计算机视觉与模式识别
2024-12-24 v2 计算机与社会
摘要
从颅骨推导3D面部是法医学和考古学中的一项挑战性任务。本文提出了一种端到端的3D面部重建管线和一种探索方法，能够便捷地创建与给定颅骨相匹配的带纹理且逼真的面部。为此，我们提出了一种组织引导的面部创建与适配方案。借助最先进的文本到图像扩散模型和参数化面部模型，我们首先生成一个初始参考3D面部，其生物学特征与给定颅骨对齐。然后，在组织厚度分布的帮助下，我们通过潜空间优化过程修改这些初始面部以匹配颅骨。利用一组扫描的颅骨-面部对，在一组颅骨标志点上学习了组织厚度的联合分布。我们还开发了一种高效的面部适配工具，允许用户全局或局部交互式地调整组织厚度，以探索不同的合理面部。在真实颅骨-面部数据集上进行的实验证明了我们提出的管线在重建准确性、多样性和稳定性方面的有效性。我们的项目页面为 https://xmlyqing00.github.io/skull-to-face-page 。
引用
@article{arxiv.2403.16207,
title = {Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing},
author = {Yongqing Liang and Congyi Zhang and Junli Zhao and Wenping Wang and Xin Li},
journal= {arXiv preprint arXiv:2403.16207},
year = {2024}
}
备注
This paper was accepted by IEEE Transactions on Visualization and Computer Graphics. Project page: https://xmlyqing00.github.io/skull-to-face-page