SOAP：风格全知可动画人物
计算机视觉与模式识别
2025-05-20 v2
摘要
从单张图像创建可动画的3D头像仍具有挑战性，主要因为风格限制（如逼真、卡通、动漫）以及难以处理配饰或发型。虽然3D扩散模型推进了单视图重建，但输出往往缺乏动画控制或因领域差距导致出现伪影。我们提出SOAP框架，生成来自任何肖像的风格全知、经过拓扑一致性处理并可动画的人形。该方法利用在2.4万张多风格3D头模型上训练的多视图扩散模型，结合自适应优化管道对FLAME网格进行变形，同时通过可微分渲染保持拓扑和 rigging。生成的带纹理人形支持基于FACS的动画，集成眼球和牙齿，保留编织发型或配饰等细节。广泛实验表明，我们的方法在单视图头部建模和基于Image-to-3D的扩散生成方面优于最先进技术。我们的代码和数据已在https://github.com/TingtingLiao/soap公开供科研使用。
引用
@article{arxiv.2505.05022,
title = {SOAP: Style-Omniscient Animatable Portraits},
author = {Tingting Liao and Yujian Zheng and Adilbek Karmanov and Liwen Hu and Leyang Jin and Yuliang Xiu and Hao Li},
journal= {arXiv preprint arXiv:2505.05022},
year = {2025}
}