SlotPi：物理信息驱动的对象中心推理模型
计算机视觉与模式识别
2025-06-13 v1 人工智能
机器学习
摘要
通过视觉观察理解并推理受物理定律支配的动力学，类似于人类在现实世界中的能力，构成了重大挑战。目前，模拟人类行为的对象中心动态仿真方法已取得显著进展，但忽略了两个关键方面：1）将物理知识整合到模型中。人类通过观察世界获得物理洞察，并将这些知识应用于准确推理各种动态场景；2）验证模型在多样化场景中的适应性。现实世界动力学，尤其是涉及流体和物体的动力学，要求模型不仅捕捉物体交互，还要模拟流体流动特性。为了弥补这些空白，我们引入了 SlotPi，一个基于槽位的物理信息对象中心推理模型。SlotPi 集成了基于哈密顿原理的物理模块和用于动态预测的时空预测模块。我们的实验突出了该模型在基准数据集和流体数据集上的预测和视觉问答（VQA）任务中的优势。此外，我们创建了一个涵盖物体交互、流体动力学和流体-物体交互的真实世界数据集，并在该数据集上验证了模型的能力。该模型在所有数据集上的稳健性能强调了其强大的适应性，为开发更先进的世界模型奠定了基础。
引用
@article{arxiv.2506.10778,
title = {SlotPi: Physics-informed Object-centric Reasoning Models},
author = {Jian Li and Wan Han and Ning Lin and Yu-Liang Zhan and Ruizhi Chengze and Haining Wang and Yi Zhang and Hongsheng Liu and Zidong Wang and Fan Yu and Hao Sun},
journal= {arXiv preprint arXiv:2506.10778},
year = {2025}
}