对象与事件视频的组成性物理推理

理解和推理自然界中对象的物理属性是人工智能的根本挑战。虽然颜色和形状等某些属性可直接观察，但质量和电荷等其他属性则被对象视觉外观所隐藏。本文针对从对象运动和相互作用中推断这些隐藏物理属性并基于推断的物理属性预测相应动力学的独特挑战作出了解答。我们首先引入Compositional Physical Reasoning（ComPhy）数据集。对于给定的一组对象，ComPhy包括其在不同初始条件下移动和相互作用的有限视频。模型的评估基于其解构隐藏物理属性（如质量和电荷）的能力，并用于回答一组问题。除了模拟器生成的合成视频外，我们还收集了真实世界数据集，以进一步测试不同模型的物理推理能力。我们对ComPhy上的最新视频推理模型进行评估，发现其捕获这些隐藏属性的能力有限，导致性能不佳。我们还提出了一种新型神经符号框架Physical Concept Reasoner（PCR），通过问答学习和推理关于可见与隐藏物理属性。训练后，PCR展示出惊人的能力。它能够检测并在帧之间关联对象，将可见与隐藏物理属性对齐，进行未来和反事实预测，并利用提取的表示来回答具有挑战性的问题。