AniPixel: 面向可动画化的像素对齐人体化身

尽管人体重建通常产生特定于人体的化身，但最近利用像素对齐特征的3D场景重建技术在泛化到新场景方面显示出前景。将这些技术应用于人体化身重建可以产生具有泛化能力但动画能力有限的体积化身，因为渲染仅可能用于静态表示。在本文中，我们提出了AniPixel，一种新颖的可动画化和可泛化的人体化身重建方法，该方法利用像素对齐特征进行身体几何预测和RGB颜色混合。在技术上，为了将规范空间与目标空间和观测空间对齐，我们提出了一种基于骨骼驱动变形的双向神经蒙皮场，以建立目标到规范和规范到观测的对应关系。然后，我们将规范身体几何分解为归一化的中性尺寸身体和特定于主体的残差，以提高泛化能力。由于几何和外观密切相关，我们引入像素对齐特征以促进身体几何预测，并引入详细表面法线以增强RGB颜色混合。我们还设计了一个依赖于姿态和视角方向的着色模块，以表示局部光照变化。实验表明，AniPixel在渲染可比的新视角的同时，在生成更好的新姿态动画结果方面优于最先进的方法。