PAD-Hand: 用于手部运动恢复的物理感知扩散

从图像重建手部方面取得的重大进展已经实现了准确的单帧估计，但它们通常缺乏物理一致性，并且无法提供运动满足物理规律的置信度概念。在本文中，我们提出了一种新颖的物理感知条件扩散框架，将含噪声的姿态序列细化为物理上合理的手部运动，同时估计运动估计中的物理方差。基于 MeshCNN-Transformer 骨干网络，我们为关节手建立了欧拉-拉格朗日动力学。与先前强制零残差的工作不同，我们将由此产生的动态残差视为虚拟观测值，以更有效地整合物理。通过最后一层拉普拉斯近似，我们的方法产生了每个关节、每个时间步的方差，用于衡量物理一致性，并提供可解释的方差图，指示物理一致性何时减弱。在两个知名手部数据集上的实验表明，与强大的图像初始化相比具有一致的增益，并与视频方法相比具有竞争力。定性结果证实，我们的方差估计与图像估计中运动的物理合理性相一致。