Physion：评估人类与机器从视觉进行物理预测的能力

尽管当前的视觉算法在许多具有挑战性的任务上表现出色，但它们在多大程度上理解真实世界环境的物理动态仍不清楚。在此我们介绍 Physion，一个用于严格评估预测物理场景随时间演化能力的数据集与基准。我们的数据集包含对广泛物理现象的真实模拟，包括刚体与软体碰撞、稳定的多物体构型、滚动、滑动和抛体运动，从而提供了比以往基准更为全面的挑战。我们使用 Physion 对一系列在架构、学习目标、输入输出结构和训练数据上各异的模型进行了基准测试。与此同时，我们在相同场景集上获得了人类预测行为的精确测量，使我们能够直接评估任何模型逼近人类行为的程度。我们发现，学习以物体为中心的表示的视觉算法通常优于不学习的算法，但仍远未达到人类表现。另一方面，可直接访问物理状态信息的图神经网络不仅表现明显更好，而且做出的预测更类似于人类所做的预测。这些结果表明，提取场景的物理表示是视觉算法实现人类水平及类人物理理解的主要瓶颈。我们已公开所有数据与代码，以促进以完全可复现的方式使用 Physion 对更多模型进行基准测试，从而系统评估朝向如人类般稳健理解物理环境的视觉算法的进展。