ComPhy：基于视频的对象与事件组合物理推理
计算机视觉与模式识别
2022-05-03 v1 人工智能
机器学习
机器人学
摘要
自然界中物体的运动受复杂相互作用及其属性的支配。虽然某些属性（如形状和材质）可通过物体的视觉外观识别，但其他属性（如质量和电荷）并非直接可见。可见与隐藏属性之间的组合性给AI模型从物理世界进行推理带来了独特挑战，而人类仅凭有限观察即可轻松推断它们。现有的视频推理研究主要关注视觉上可观察的元素，如物体外观、运动和接触交互。本文中，我们迈出初步一步，通过引入组合物理推理（ComPhy）数据集，强调推断无法直接由视觉外观观察到的隐藏物理属性的重要性。对于给定的物体集合，ComPhy包含少量它们在不同初始条件下运动和交互的视频。模型根据其揭示组合隐藏属性（如质量和电荷）并利用该知识回答其中一段视频上提出的一组问题的能力进行评估。若干最先进视频推理模型在ComPhy上的评估结果显示性能不尽如人意，因为它们未能捕捉这些隐藏属性。我们进一步提出一种名为组合物理学习器（CPL）的神谕神经-符号框架，将视觉感知、物理属性学习、动态预测和符号执行结合到一个统一框架中。CPL能够有效从物体交互中识别其物理属性并预测其动态以回答问题。
引用
@article{arxiv.2205.01089,
title = {ComPhy: Compositional Physical Reasoning of Objects and Events from Videos},
author = {Zhenfang Chen and Kexin Yi and Yunzhu Li and Mingyu Ding and Antonio Torralba and Joshua B. Tenenbaum and Chuang Gan},
journal= {arXiv preprint arXiv:2205.01089},
year = {2022}
}
备注
ICLR 2022. Project page: https://comphyreasoning.github.io/