NIMBLE：带骨骼与肌肉的非刚性手部模型

新兴的元宇宙应用需要可靠、准确且照片级真实的人手复现，以如同在物理世界中般执行复杂操作。真实的人手展现了骨骼、肌肉、肌腱与皮肤之间最复杂的协调之一，而最先进的技术一致仅聚焦于对手部骨架建模。本文中，我们提出 NIMBLE，一种包含缺失关键组件的新颖参数化手部模型，将 3D 手部模型提升至新的真实度水平。我们首先在近期磁共振成像手部（MRI-Hand）数据集上标注肌肉、骨骼与皮肤，然后将一个体素模板手配准到该数据集内的个体姿态与受试者上。NIMBLE 由作为三角网格的 20 块骨骼、作为四面体网格的 7 个肌肉群以及一个皮肤网格组成。通过迭代形状配准与参数学习，它进一步生成形状混合形状、姿态混合形状以及一个关节回归器。我们展示了将 NIMBLE 应用于建模、渲染与视觉推断任务。通过强制内部骨骼与肌肉匹配解剖与运动学规则，NIMBLE 能以空前真实度将 3D 手动画到新姿态。为建模皮肤外观，我们进一步构建了一个光度 HandStage 以获取高质量纹理与法线贴图来建模皱纹与掌纹。最后，NIMBLE 还可通过合成丰富数据或直接在推断网络中作为可微层，惠及基于学习的手姿态与形状估计。