ContactGaussian-WM：从稀疏接触丰富视频中学习基于物理的刚体世界模型
机器人学
2026-02-12 v1 人工智能
计算机视觉与模式识别
摘要
发展能够理解复杂物理相互作用的世界模型是推动机器人规划和仿真的关键挑战。然而，现有方法在数据稀缺和复杂接触动态运动条件下往往难以准确建模环境。为此，我们提出了 ContactGaussian-WM，一种能够从稀疏且接触丰富的视频序列中直接学习复杂物理规律的可微分物理基础刚体世界模型。我们的框架包含两个核心组件：（1）用于视觉外观和碰撞几何的统一高斯表示，（2）能够通过封闭形式物理引擎进行微分的端到端可学习框架，从稀疏视觉观测中推断物理属性。大量仿真和真实世界评估表明，ContactGaussian-WM 在学习复杂情景方面超越了当前最先进的方法，展现出稳健的泛化能力。此外，我们展示了该框架在下游应用（如数据合成和实时模型预测控制）中的实际用途。
引用
@article{arxiv.2602.11021,
title = {ContactGaussian-WM: Learning Physics-Grounded World Model from Videos},
author = {Meizhong Wang and Wanxin Jin and Kun Cao and Lihua Xie and Yiguang Hong},
journal= {arXiv preprint arXiv:2602.11021},
year = {2026}
}