利用可微物理从视频中学习辨识物理参数

视频表示学习因其在活动与场景预测或基于视觉的规划与控制中的应用,近期在计算机视觉中受到关注。视频预测模型通常学习视频的潜表示,该表示由输入帧编码并解码回图像。即便以动作为条件,纯基于深度学习的架构通常缺乏具有物理可解释性的潜空间。在本研究中,我们在一个动作条件视频表示网络中使用可微物理引擎来学习物理潜表示。我们提出有监督与自监督学习方法来训练我们的网络并辨识物理属性。后者利用空间变换器将物理状态解码回图像。我们实验中的仿真场景包括推动、滑动和碰撞物体,我们也分析了其中物理属性的可观测性。在实验中我们证明,我们的网络能够学习编码图像,并从仿真场景中的视频和动作序列辨识出如质量和摩擦等物理属性。我们评估了有监督与自监督方法的准确性,并与直接从状态轨迹学习系统辨识基线进行比较。我们还展示了我们的方法从输入图像和动作预测未来视频帧的能力。