基于神经高斯力场的 4D 动力学物理驱动学习

从原始视觉数据预测物理动力学是 AI 中的重要挑战。虽然最近的视频生成模型在视觉质量方面取得了显著进展，但仍无法持续生成物理上可靠的视频，因为缺乏对物理规律的建模。最近的结合 3D 高斯溶解和物理引擎的方法可以产生物理上可靠的视频，但在重建和仿真方面的计算成本高昂，且在复杂真实场景中往往缺乏鲁棒性。为此，我们引入神经高斯力场 (NGFF)，一种端到端的神经框架，将 3D 高斯感知与基于物理的动态建模集成，以生成来自多视图 RGB 输入的交互式、物理上可靠的 4D 视频，速度比先前的高斯仿真器快了两个数量级。为支持训练，我们还提出了 GSCollision，一个包含多样化材料、多物体相互作用和复杂场景的 4D 高斯数据集，总计超过 64 万 个渲染的物理视频（约 4 TB）。在合成和真实 3D 场景上的评估表明，NGFF 在物理推理方面具有强大的泛化能力和鲁棒性，推动了视频预测 towards physics-grounded world models。