ContPhy：基于视频的连续体物理概念学习与推理
计算机视觉与模式识别
2024-07-30 v2
摘要
我们引入了连续体物理数据集（ContPhy），这是一个用于评估机器物理常识的新型基准。ContPhy 通过涵盖不同场景下质量、密度等多种物理属性的推理以及预测相应动力学，补充了现有的物理推理基准。我们评估了一系列 AI 模型，发现它们在 ContPhy 上仍难以取得令人满意的性能，这表明当前 AI 模型仍然缺乏对连续体（尤其是软体）的物理常识，并凸显了所提出数据集的价值。我们还引入了一个神谕模型（ContPRO），它将基于粒子的物理动力学模型与近期的大语言模型相结合，兼具两者的优势：精确的动力学预测和可解释的推理。ContPhy 旨在推动不同物理场景中感知与推理的进步，缩小人类与机器智能在理解物理世界方面的差距。项目页面：https://physical-reasoning-project.github.io
引用
@article{arxiv.2402.06119,
title = {ContPhy: Continuum Physical Concept Learning and Reasoning from Videos},
author = {Zhicheng Zheng and Xin Yan and Zhenfang Chen and Jingzhou Wang and Qin Zhi Eddie Lim and Joshua B. Tenenbaum and Chuang Gan},
journal= {arXiv preprint arXiv:2402.06119},
year = {2024}
}
备注
The first three authors contributed equally to this work