从未知质量分布的刚体图像学习预测三维旋转动力学

在许多真实场景中，当低维测量不可得时，可获得自由旋转的三维刚体的图像观测。然而，图像数据的高维性排除了使用经典估计技术学习动力学的可能。标准深度学习方法的有用性也受限，因为刚体图像不能揭示物体内部质量分布，而质量分布与初始角速度共同决定物体如何旋转。我们提出一个基于物理的神经网络模型，从图像序列估计并预测三维旋转动力学。我们使用一个多阶段预测流水线实现：将单幅图像映射到同胚于 $\mathbf{SO}(3)$ 的潜表示，从潜表示对计算角速度，并使用哈密顿方程预测未来潜状态。我们在新的旋转刚体数据集（含立方体、棱柱和卫星等旋转物体的合成图像序列，具有未知均匀与非均匀质量分布）上证明了方法的有效性。我们的模型在我们的数据集上优于对比基线，给出更好的定性预测，并将最先进的 Hamiltonian Generative Network 的误差降低为原来的 1/2。