SCANimate：蒙皮穿衣虚拟人网络的自监督弱监督学习

我们提出 SCANimate，一个端到端可训练的框架，它接收穿衣人类的原始 3D 扫描并将其转化为可动画的虚拟人。这些虚拟人由姿态参数驱动，并拥有随身体自然运动与形变的逼真衣物。SCANimate 不依赖于定制的网格模板或表面网格配准。我们观察到，将参数化 3D 人体模型（如 SMPL）拟合到穿衣人体扫描是可行的，而人体拓扑到扫描的表面配准通常不可行，因为衣物可能显著偏离身体形状。我们还观察到关节变换是可逆的，从而在已摆姿与未摆姿形状之间产生几何循环一致性。这些观察促使我们提出一种弱监督学习方法，通过解耦关节形变而不依赖基于模板的表面配准，将扫描对齐到规范姿态。此外，为了在对齐扫描中补全缺失区域并建模姿态相关形变，我们引入了一种局部姿态感知的隐式函数，它通过学习到的姿态校正项来补全并建模几何。与常用的全局姿态嵌入不同，我们的局部姿态条件化显著减少了长程伪相关，并提升了对未见姿态的泛化能力，尤其在训练数据有限时。我们的方法可应用于姿态感知的外观建模以生成全纹理虚拟人。我们在不同衣物类型及不同训练数据量上展示了我们的方法，在保真度与泛化性上均优于现有方案及其他变体。代码见 https://scanimate.is.tue.mpg.de。