SCALE：用关节化局部图元的表面编解码器建模着装人体

由于关节运动、非刚性形变以及服装类型与拓扑的多样性，学习建模与重建着装人体颇具挑战。为实现学习，表征方式的选择是关键。近期工作使用神经网络参数化局部表面图元。该方法能捕捉局部一致的几何与非平面细节，可处理变化的拓扑，且不需要配准的训练数据。然而，朴素地将此类方法用于建模三维着装人体，无法捕捉细粒度的局部形变且泛化性差。为此，我们提出三项关键创新：首先，我们基于人体模型形变表面图元，从而将关节运动引起的大尺度形变与拓扑变化及局部服装形变显式分离。其次，我们通过从局部特征回归局部几何来克服现有神经表面图元的局限，显著提升表达能力。第三，我们在编码姿态化人体几何的二维参数化空间上学习姿态嵌入，通过减少非局部伪相关来提升对未见姿态的泛化。我们通过从点云学习复杂服装的模型来证明表面表征的有效性。服装可改变拓扑并偏离身体拓扑。一旦学习完成，我们可驱动先前未见的动作，生成高质量点云，并借助神经渲染从中生成逼真图像。我们评估了各项技术贡献的重要性，并表明我们的方法在重建精度与推理时间上优于最先进方法。代码用于研究目的可在 https://qianlim.github.io/SCALE 获取。