中文

ParticleGS:从视频中学习神经高斯粒子动力学以实现无先验物理运动外推

计算机视觉与模式识别 2025-12-01 v2

摘要

将动态 3D 场景外推到观测时间范围之外的能力对于推进物理世界理解和预测建模至关重要。现有的动态 3D 重建方法已经实现了时间插值的高保真渲染,但通常在预测未来时缺乏物理一致性。为了克服这个问题,我们提出了 ParticleGS,这是一个基于物理的框架,将动态 3D 场景重新表述为物理奠基系统。ParticleGS 包含三个关键组件:1)一个将场景分解为静态属性和初始动态物理场的编码器;2)一个基于神经常微分方程(Neural ODE)的演化器,用于学习连续时间动力学以进行运动外推;3)一个从演化的粒子状态重建 3D 高斯以进行渲染的解码器。通过这种设计,ParticleGS 将物理推理集成到动态 3D 表示中,实现了对未来的准确和一致预测。实验表明,ParticleGS 在外推方面实现了 SOTA 性能,同时保持了与领先的动态 3D 重建方法相当的渲染质量。

关键词

引用

@article{arxiv.2505.20270,
  title  = {ParticleGS: Learning Neural Gaussian Particle Dynamics from Videos for Prior-free Physical Motion Extrapolation},
  author = {Jinsheng Quan and Qiaowei Miao and Yichao Xu and Zizhuo Lin and Ying Li and Wei Yang and Zhihui Li and Yawei Luo},
  journal= {arXiv preprint arXiv:2505.20270},
  year   = {2025}
}