用于生成与迁移非刚性物体姿态的神经姿态表示学习

我们提出了一种 novel 方法，用于学习 3D 刚性物体的姿态表示，专注于 1) 将姿态信息从物体身份中解耦，2) 促进姿态变化的学习，以及 3) 将姿态信息迁移到其他物体身份。基于这些特性，该方法使得能够使用单一物体的变体，生成在身份和姿态方面具有多样性的 3D 刚性物体。它无需显式的形状参数化（如骨骼或关节）、点级或形状级对应 supervision，或姿态迁移目标物体的变体。为实现姿态解耦、生成模型的紧凑性以及可转移性，我们首先设计姿态提取器，将姿态表示为基于关键点的混合表示，并设计姿态应用器学习隐式变形场。为更好地从物体几何中提炼姿态信息，我们提出隐式姿态应用器输出内在网格属性——面 Jacobian。一旦提取的姿态信息被迁移到目标物体上，姿态应用器将在自监督方式下进行 fine-tuning，以更好地描述目标物体在姿态变化下的形状。提取的姿态还用于训练级联扩散模型，以实现新姿态的生成。我们在 DeformThings4D 和 Human 数据集上的实验表明，在姿态迁移方面实现了最新性能，并能够生成多样化的变形形状。