将视觉运动预测推向新高度场

尽管牛顿力学的基本定律已被充分理解，解释一个物理场景仍需要以合适方程手动建模问题并估计相关参数。为能在此类物理相关语境中利用人工智能技术的逼近能力，研究者手工构造了相关状态，随后使用神经网络以仿真运行作为训练数据来学习状态转移。遗憾的是，此类方法不适用于建模复杂真实世界场景，其中手动编写相关状态空间往往繁琐且具挑战性。本工作中，我们探究神经网络是否仅基于视觉数据即可隐式学习真实世界机械过程的物理状态，同时在内部建模非均匀环境，并在此过程中实现长期物理外推。我们为此任务开发了循环神经网络架构，并以演化方差估计的形式刻画所得不确定性。我们评估了我们的设置，仅以图像为输入，对形状与朝向各异的碗中及任意高度场上滚动球（多个）的运动进行外推。我们报告了相较现有基于图像的方法在预测精度与场景复杂度上的显著改进；并报告了与那些不同于我们、假定可访问内部物理状态的方法具竞争力的性能。