面向高保真3D说话人化身的个性化动态纹理
计算机视觉与模式识别
2025-03-04 v1 人工智能
摘要
为语音驱动的3D面部动画已取得显著进展，但大多数工作专注于学习网格/几何的运动，忽略了动态纹理的影响。在本工作中，我们揭示了动态纹理在渲染高保真说话人化身方面发挥关键作用，并引入高分辨率4D数据集TexTalk4D，包含100分钟与音频同步的扫描级网格，详细的8K动态纹理来自100名受试者。在数据集基础上，我们探索了运动与纹理之间的内在相关性，提出基于扩散的框架TexTalker to 同时生成面部运动和动态纹理。此外，我们提出了一种新颖的枢轴方法风格注入策略来捕捉不同纹理和运动风格的组合，这允许进行解�od控制。TexTalker作为首个生成音频同步面部运动并伴随动态纹理的方法，不仅在合成面部运动方面超过了先前的工作，还产生与底层面部运动一致的真实纹理。项目页面：https://xuanchenli.github.io/TexTalk/。
引用
@article{arxiv.2503.00495,
title = {Towards High-fidelity 3D Talking Avatar with Personalized Dynamic Texture},
author = {Xuanchen Li and Jianyu Wang and Yuhao Cheng and Yikun Zeng and Xingyu Ren and Wenhan Zhu and Weiming Zhao and Yichao Yan},
journal= {arXiv preprint arXiv:2503.00495},
year = {2025}
}