面向可动画人体化身的可变形3D高斯泼溅
计算机视觉与模式识别
2023-12-27 v1 人工智能
摘要
神经辐射场的最新进展使得在动态场景中合成逼真图像的新视角成为可能，可应用于人体动画场景。然而，常用的隐式骨干网络需要大量输入视图和额外标注（如人体掩码、UV图和深度图）才能建立精确模型。在这项工作中，我们提出了ParDy-Human（参数化动态人体化身），一种完全显式的方法，仅需单目序列即可构建数字化身。ParDy-Human将参数驱动的动力学引入3D高斯泼溅，其中3D高斯通过人体姿态模型变形以实现化身动画。我们的方法由两部分组成：第一个模块根据SMPL顶点变形规范3D高斯，第二个模块进一步利用设计的关节编码预测每个高斯的变形，以处理超出SMPL顶点变形的动力学。然后通过光栅化器合成图像。ParDy-Human是一种用于逼真动态人体化身的显式模型，所需的训练视图和图像数量显著减少。我们的化身学习无需额外标注（如掩码），可在可变背景下训练，甚至在消费级硬件上也能高效推断全分辨率图像。我们提供的实验证据表明，ParDy-Human在ZJU-MoCap和THUman4.0数据集上，无论在定量还是视觉上均优于现有最先进方法。
引用
@article{arxiv.2312.15059,
title = {Deformable 3D Gaussian Splatting for Animatable Human Avatars},
author = {HyunJun Jung and Nikolas Brasch and Jifei Song and Eduardo Perez-Pellitero and Yiren Zhou and Zhihao Li and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2312.15059},
year = {2023}
}