CausalGS：基于高斯表示学习 3D 动态场景的物理因果性
计算机视觉与模式识别
2026-05-12 v1
摘要
从视频数据中学习物理模型，以理解物理规律并预测物体未来轨迹是人工智能中的一个巨大挑战。先前方法要么利用各种偏微分方程 (PDE) 作为 PINN 损失形式的软约束，要么将物理模拟器集成到神经网络中；但它们往往依赖强假设或高质量的几何重建。本文提出 CausalGS，一个框架可仅从多视角视频中学习复杂 3D 场景的因果动力学，同时摆脱对显式先验的依赖。在其核心是一个逆向物理推断模块，将复杂动力学问题从视频中解耦为两个因素的联合推断：代表场景运动学的初始速度场，以及支配其动力学的固有材料属性。这种推断得到的物理信息然后用于可微分物理模拟器中，以物理正则化方式引导学习过程。广泛的实验表明，CausalGS 在高度具有挑战性的长期未来帧外推任务上超越了最新成果，同时在新视角插值方面也表现出先进性能。关键的是，我们的工作表明，无需任何人工标注，该模型即可仅从视觉观察中学习多个物理属性之间的复杂相互作用，并理解驱动场景动态演化的因果关系。
引用
@article{arxiv.2605.10586,
title = {CausalGS: Learning Physical Causality of 3D Dynamic Scenes with Gaussian Representations},
author = {Nengbo Lu and Minghua Pan},
journal= {arXiv preprint arXiv:2605.10586},
year = {2026}
}
备注
ICMR2026 Accepted