FRESA：基于稀疏图像的个人化皮肤化身前馈重建方法

我们提出了一种新颖的方法，仅需少量图像即可重建带有逼真动画的个人化3D人类化身。由于身体形状、姿态和服装类型的巨大差异，现有方法在推理阶段通常需要数小时的逐主题优化，这限制了其实际应用。相反，我们从超过一千名穿衣人群中学习通用先验，以实现即时前馈生成和零样本泛化。具体而言，我们不使用共享的skinning权重进行绑定，而是联合推断个人化化身形状、skinning权重和姿态相关变形，从而有效提升整体几何保真度并减少变形伪影。此外，为规范姿态变化并解决规范形状与skinning权重之间的耦合歧义，我们设计了3D规范化过程，以产生像素对齐的初始条件，从而帮助重建细粒度几何细节。我们随后提出了多帧特征聚合，以稳健地减少规范化过程中引入的伪影，并融合保留个体特定身份信息的合理化身。最后，我们在大规模捕获数据集上以端到端框架训练模型，其中包含多样化的人类主体与高质量3D扫描的配对数据。大量实验表明，我们的方法生成的重建与动画比现有最先进技术更真实，可直接泛化到平凡手机照片输入。项目页面和代码已提供：https://github.com/rongakowang/FRESA。